<?> PHP NOVA invictum.hr
Izdanje 2026.
Poglavlje 37

AI crawleri i llms.txt

Odvajamo stvarne web-standarde od novih prijedloga i učimo kako sadržaj predstaviti crawlerima bez SEO mitova.

16 min čitanja Srednje razina PHP 8.5 ciljna verzija

Standard i prijedlog

Dva različita alata

robots.txt je standardizirani protokol za crawlerske upute. llms.txt je novija zajednička konvencija koja AI alatima može ponuditi kurirani Markdown pregled sadržaja.

Standard

robots.txt

IETF RFC 9309. Crawlerima govori koje putanje smiju ili ne smiju dohvatiti.

Ne služi kao zaštita pristupa.
Prijedlog

llms.txt

Markdown indeks važnog sadržaja namijenjen alatima koji ga odluče čitati.

Ne jamči ranking ni AI citiranje.

Primjer

Minimalni robots.txt

/robots.txt 
User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://example.com/sitemap.xml

Kurirani sadržaj

Minimalni llms.txt

/llms.txt 
# PHP Nova

> Moderni PHP web razvoj na hrvatskom jeziku.

## Dokumentacija
- [Početak](https://phpnova.invictum.hr/pocetak.md)
- [PHP 8.5](https://phpnova.invictum.hr/php-85.md)
- [Sigurnost](https://phpnova.invictum.hr/sigurnost.md)

Standard odvojite od eksperimenta

Vježba: crawler paket projekta

Napišite robots.txt za javnu bazu znanja i mali llms.txt kao kurirani indeks.

  1. U robots.txt blokirajte tehničke putanje, ali ne pokušavajte njime sakriti tajne.
  2. Dodajte apsolutni URL sitemap datoteke.
  3. U llms.txt povežite samo kanonske, korisne i javno dostupne izvore.

Status tehnologije

Službeni i primarni izvori