Rast · Srednje
AI crawleri i robots.txt: dopustiti ili blokirati i što se događa u oba slučaja
Nekoliko redaka u tekstualnoj datoteci odlučuje smiju li AI asistenti čitati Vašu web stranicu. Mnoge tvrtke te retke nikad nisu pogledale, a neke blokiraju crawlere a da to i ne znaju.
Fotografija: Nilo Velez, javno dobro (CC0)
U ovom vodiču
Ukratko
Ako želite da AI asistenti navode i citiraju Vašu tvrtku, dopustite njihove crawlere; ako ih blokirate, ispadate iz njihovih odgovora. Crawleri koji prikupljaju podatke za treniranje i crawleri koji dohvaćaju stranice za odgovore uživo imaju različita imena, pa možete blokirati prvu vrstu, a dopustiti drugu. robots.txt je zamolba, a ne brava.
Što je robots.txt, a što nije?
To je javna tekstualna datoteka sa zamolbama crawlerima i ništa je ne provodi silom. Datoteka se nalazi na najvišoj razini web stranice, na adresi /robots.txt, i crawlerima govori koje adrese ne bi trebali dohvaćati. Pristojni crawleri najprije je pročitaju i drže je se. Crawler koji je zanemari ne nailazi ni na kakvu tehničku prepreku.
Zato robots.txt nije način zaštite povjerljivih stranica: datoteku može pročitati svatko, a pristup ne sprečava. Što mora ostati privatno, treba biti iza prijave.
Crawleri se predstavljaju imenom koje se zove user agent i šalje se sa svakim zahtjevom. Pravila u robots.txt pišu se po imenu.
Koji AI crawleri postoje?
Postoje dvije vrste, a razlika odlučuje koliko Vas blokada stoji. Neki crawleri prikupljaju stranice koje se mogu koristiti za treniranje modela. Drugi dohvaćaju stranice da odgovore na pitanje koje netko postavlja upravo sada, a ti odgovori Vašu stranicu prikazuju kao izvor.
| Ime u robots.txt | Operater | Svrha |
|---|---|---|
| GPTBot | OpenAI | Prikuplja stranice koje se mogu koristiti za treniranje modela |
| OAI-SearchBot | OpenAI | Pronalazi stranice za odgovore pretraživanja u ChatGPT-u |
| ChatGPT-User | OpenAI | Dohvaća stranicu kad to traži zahtjev korisnika |
| ClaudeBot | Anthropic | Prikuplja stranice koje se mogu koristiti za treniranje modela |
| PerplexityBot | Perplexity | Pronalazi stranice za Perplexityjeve odgovore pretraživanja |
| Google-Extended | Nije crawler: oznaka kojom se upravlja korištenjem za Googleove AI modele | |
| Bingbot | Microsoft | Crawler indeksa tražilice Bing |
Google-Extended ime je kojim u robots.txt možete reći smiju li se stranice koristiti za Googleove AI modele. Ne utječe na to pojavljuje li se stranica u Google pretraživanju. Bingbot je na popisu zato što je običan crawler tražilice koji se ponekad slučajno blokira zajedno s ostalima.
Popis nije potpun i mijenja se. Operateri svoje crawlere dokumentiraju na vlastitim web stranicama i to je pouzdano mjesto za provjeru imena.
Kako izgledaju pravila?
Pravilo je par redaka: ime, a zatim ono što to ime ne bi trebalo dohvaćati. Svaki redak u nastavku jedan je redak datoteke.
Prvi primjer svakom crawleru dopušta čitanje cijele stranice osim jedne mape:
User-agent: *
Disallow: /internal/
Drugi moli dva crawlera za treniranje da se drže podalje od cijele stranice, a sve ostale crawlere, uključujući one koji odgovaraju, ostavlja netaknutima:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Crawler koji nije imenovan i ne nađe opće pravilo smije čitati sve. Jedna pojedinost uzrokuje pogreške: crawler koji nađe skupinu sa svojim imenom drži se samo te skupine, a opću pod zvjezdicom zanemaruje. Ako dodate skupinu za jednog crawlera, u njoj ponovite sva opća pravila koja za njega i dalje trebaju vrijediti.
Treba li AI crawlere dopustiti ili blokirati?
Za tvrtku koja nešto prodaje gotovo je uvijek ispravno dopustiti crawlere koji odgovaraju, a crawleri za treniranje stvar su prosudbe. Asistent može citirati samo stranicu koju je smio dohvatiti.
| Izbor | Što se događa | Kome odgovara |
|---|---|---|
| Dopustiti sve | Stranice se mogu citirati u odgovorima uživo i koristiti u treniranju | Tvrtkama čiji sadržaj postoji da bi privukao kupce |
| Blokirati treniranje, dopustiti odgovaranje | Stranice se i dalje mogu citirati; molite da se ne koriste za treniranje | Izdavačima i tvrtkama sa skupim izvornim sadržajem |
| Blokirati sve | Ispadate iz odgovora crawlera koji poštuju pravila; već prikupljeni sadržaj ne uklanja se | Stranicama koje nisu namijenjene tome da ih se pronađe |
| Blokirati pojedine mape | Ostatak ostaje vidljiv; mape se ne dohvaćaju | Svakoj stranici s dijelovima koji vanjskima ne koriste |
Gdje se blokade kriju?
Kriju se na četiri mjesta, a robots.txt je samo ono vidljivo. Nalazili smo web stranice koje su godinama na razini poslužitelja blokirale crawlere tražilica i AI crawlere a da vlasnik to nije znao. Takvo se pravilo obično doda kao privremena mjera i potom zaboravi.
- robots.txt: otvorite ga u pregledniku i pročitajte svaki redak.
- Vatrozid ili sigurnosni dodatak: mnogi imaju prekidač „blokiraj botove” ili popis imena.
- Pružatelj hostinga: neki blokiraju ili usporavaju crawlere svim korisnicima na poslužitelju.
- Datoteka .htaccess ili konfiguracija poslužitelja: pravila koja odbijaju zahtjeve prema user agentu.
Kako provjeriti vlastitu stranicu?
Zatražite stranicu pod imenom crawlera i pogledate statusni kod odgovora. Alat poput curla može poslati bilo koji user agent. Na primjer:
curl -I -A “GPTBot” https://www.example.com/
- Pročitajte robots.txtOtvorite /robots.txt na svakoj domeni i poddomeni koju koristite. Svaki host ima svoju datoteku.
- Zatražite stranicu kao crawlerPošaljite zahtjev s imenom crawlera kao user agentom, jednom za svako ime koje Vam je važno.
- Pročitajte statusni kod200 znači da je stranica isporučena. 403 znači da je nešto odbilo zahtjev. Stranica s provjerom ili istek vremena znače da se umiješao filtar.
- Usporedite s preglednikomZatražite istu stranicu s user agentom običnog preglednika. Ako to radi, a ime crawlera ne prolazi, blokira pravilo po imenu.
- Pogledajte zapise poslužiteljaU zapisu pristupa potražite imena crawlera. Stvarni posjeti sa statusom 200 najbolji su dokaz.
Test ima ograničenje: pokazuje samo pravila koja se ravnaju po imenu. Vatrozid može prosuđivati i po adresi s koje zahtjev dolazi, pa zapisi ostaju konačna provjera. Blokada u robots.txt se, naprotiv, nikad ne vidi u statusnom kodu. Poslužitelj bi stranicu isporučio, ali crawler odluči da je neće zatražiti.
Kako to radimo mi
Pročitamo robots.txt, testiramo svaki host pod imenima crawlera i s onim tko ih vodi prođemo pravila vatrozida, hostinga i poslužitelja. Blokade o kojima nitko nije odlučio uklanjamo, a one koje su željene zapisujemo zajedno s razlogom. Što crawleri nađu kad ih se pusti unutra, tema je optimizacije za tražilice.
Neke stranice objavljuju i datoteku llms.txt, jednostavan sažetak stranice za AI sustave. To je konvencija u nastajanju, a ne standard, i nijedan operater ne jamči da se čita. Pravila poslužitelja i blokade dio su onoga što pratimo u sklopu managed hostinga.
Pitanja koja često čujemo
Želite da to bude riješeno, a da to ne radite sami?
Recite nam na čemu radite. Čovjek Vam odgovara u roku od jednog radnog dana.