robots.txt helyes konfigurálása AI-Crawler számára

Allow vagy Block? Így konfigurálja a robots.txt fájlját a GPTBot, ClaudeBot, PerplexityBot és Google-Extended számára — kész kódpéldákkal.

A robots.txt 25 éves, és hirtelen újra stratégiai irányító eszközzé vált. A GPTBot, ClaudeBot, PerplexityBot és Google-Extended megjelenésével már nemcsak azt határozza meg, hogy mely URL-eket indexál a Google, hanem azt is, hogy a tartalmai egyáltalán megjelenhetnek-e a KI-válaszokban. Ebben a cikkben bemutatjuk, hogyan konfigurálhatja ezt a fájlt 2026-ra tisztán a KI világ számára — és hogy mely hibák fordulnak elő a leggyakrabban.

Allow vagy Block: a stratégiai döntés

Aki blokkolja a KI-Crawlereket, az elzárja magát egy növekvő felfedezési csatornától. Minden generatív válasz, amelyben a márkája vagy a tartalmai idézhetők lennének, kiesik, amint a forrás nem elérhető. A legtöbb márka számára ezért a KI-Crawerek szövetségesek, és engedélyezni kell őket. Kivételt képeznek a kiadók, médiák és olyan vállalatok, amelyek a tartalmaikat fizetős, exkluzív eszközként értékesítik — itt a szelektív blokkolás értelmes lehet, ideális esetben kombinálva az OpenAI Partnerségi programjával. A 2023-ban még elterjedt reflexszerű blokkolást 2026-ban stratégiailag hibásnak tartjuk. Néhány kiadó korai aktivizmusa már versenyhátrányként jelentkezett — azok a házak, amelyek korán nyitottak, a KI-rendszerek elsődleges forráscímévé váltak a témáikhoz, míg a blokkolók lassan eltűntek a válaszokból.

A KI-Crawling ellen szóló tipikus érvelés — "a tartalmaimat ellenszolgáltatás nélkül használják" — figyelmen kívül hagy egy döntő pontot: A KI-válasz nem a felhasználói út végpontja, hanem gyakran csak a kezdete. Aki egy ChatGPT-válaszban idézve van, az márkaismertséget, bizalmat szerez, és sok esetben közvetlen kattintást kap a forrásra. Aki nem idézve van, az egyszerűen láthatatlan. Ez a mechanika annál erősebb, minél jobban van már beágyazva a seo-szoszedet/backlink/">backlink profilja az organikus világban. Egy erős domain, amely több száz szerkesztői backlinkkel rendelkezik, szinte mindig a forrásra vonzza a kattintást a KI-válaszban, mert a felhasználók a hivatkozott márkában bíznak. Egy gyenge domain, amelynek nincs külső beágyazása, ezt a hatást elveszíti, még akkor is, ha említik a válaszban.

A legfontosabb User-Agentek áttekintése

Mielőtt szabályokat definiálna, tudnia kell, hogy kit céloz meg. Az alábbi User-Agenteknek minden komoly KI-robots.txt fájlban kifejezetten szerepelniük kell — akár Allow, akár Disallow formájában, de soha nem meghatározatlanul. Egy üres bejegyzés ajtót nyit a félreértelmezésre, amit egyes Crawerek az Ön hátrányára értelmeznek. Minden GEO-audit során először ellenőrizzük, hogy ez a nyolc bot helyesen van-e címezve. Az esetek körülbelül 70%-ában elavult konfigurációkat találunk a pre-KI korszakból, vagy egyáltalán nincsenek specifikus szabályok — mindkettő versenyhátrányt jelent, amelyet néhány sor konfigurációval azonnal orvosolni lehet.

• GPTBot — Az OpenAI tréning-Crawlere
• OAI-SearchBot — ChatGPT keresési index
• ChatGPT-User — közvetlen URL-hívások a beszélgetésekben
• ClaudeBot — Az Anthropic Crawlere
• PerplexityBot — Élő keresés a Perplexity-től
• Google-Extended — Irányítja a Gemini és Bard tréninghasználatát
• CCBot — Common Crawl, sok LLM alapja
• Bytespider — ByteDance, Doubao-tréning

Ajánlott alapkonfiguráció

A legtöbb márka számára egy nyitott robots.txt fájlt ajánlunk, amely kifejezetten engedélyezi az összes releváns KI-Crawert, és csak érzékeny területeket, mint például /admin, /checkout vagy belső API végpontokat zár ki. Az alábbi konfiguráció számos projektben bevált, és kiindulópontként szolgálhat a saját fájljához — a Disallow alatt lévő útvonalakat természetesen az Ön konkrét weboldal-struktúrájához igazítja:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/

Sitemap: https://www.ihre-domain.de/sitemap.xml

A KI-Crawerek blokkolása azt jelenti, hogy kizárja magát pontosan abból a felfedezési csatornából, ahol az erős backlinkjei éppen most bontakoznak ki.

Szelektív konfigurációk: mikor érdemes őket alkalmazni

Bizonyos körülmények között érdemes lehet egyes botokat vagy útvonalakat célzottan blokkolni. A prémium tartalom, amely egy Paywall mögött van, például meg kell akadályoznia a ChatGPT-User hívásokat, mert különben a tartalom közvetve szabadon hozzáférhetővé válik. Az belső Wiki-területek, munkavállalói portálok és staging környezetek általában szintén kizárandók. A tréningező Crawerek szelektív blokkolása — például a GPTBot és CCBot esetében — miközben engedélyezi az élő keresőbotokat, mint a PerplexityBot, járható stratégia azok számára, akik védik az IP-jüket, de mégis meg akarnak jelenni a valós idejű válaszokban. Ezt a konstellációt azonban valóban tudatosan kell választani, mert potenciálisan elveszítheti a reprezentációt a jövőbeli modellgenerációk tréningadataiban. A legtöbb ügyfelünk számára az ellenkező utat ajánljuk: mindent engedélyezni, ami láthatóságot hoz, és ehelyett licencmodellek és prémium területek révén differenciálni.

Fontos: A robots.txt nem jogi alap, hanem egy udvariassági mechanizmus. A megbízható szolgáltatók betartják, a kevésbé megbízhatók nem. Aki jogilag biztonságosan szeretné megvédeni a tartalmát, annak további technikai intézkedésekre van szüksége, mint például IP-blokkolás, sebességkorlátozások és elsősorban világos licenc- és felhasználási feltételek. Ennek ellenére a robots.txt a legfontosabb deklaratív irányító eszköz a KI világ számára. Ezért soha nem szabad statikus fájlként kezelni, hanem rendszeresen — negyedévente ajánljuk — ellenőrizni és frissíteni kell. Új botok jelennek meg, régiek eltűnnek, és egyes szolgáltatók csendben megváltoztatják a User-Agent megnevezéseiket a háttérben.

Linkbuilding és robots.txt: egy alulértékelt duó

Itt egy olyan aspektus kerül előtérbe, amelyet a legtöbb robots.txt vitában figyelmen kívül hagynak: Egy nyitott robots.txt csak akkor fejti ki teljes hatását, ha a domainje kívülről is észlelhető. A KI-Crawerek ugyanúgy követik a linknyomokat, mint a Googlebot. Egy tökéletesen konfigurált robots.txt egy backlinkek nélküli domainen ritkán látogatott. Ezzel szemben egy nyitott robots.txt egy erős, témához kapcsolódó backlink profillal rendelkező domainen aranybányává válik — a KI-Crawerek gyakran megfordulnak, gyorsan indexálják a friss tartalmakat, és idézik a márkáját a keletkező válaszokban.

Ez pragmatikus sorrendet von maga után: Először a robots.txt-t nyissa meg a KI számára, majd fokozatosan építse ki a linkprofilt, végül mérje az effektusokat a Reference Rate segítségével. Aki mindkét eszközt kombinálja, az néhány hónapon belül jelentős elmozdulásokat tapasztal a KI-láthatóságban. Aki csak az egyik eszközt használja, az a potenciál nagy részét elveszíti. Egy jól konfigurált robots.txt bejegyzés tíz perc munkát igényel, míg egy fokozatosan növekvő backlink profil több negyedéves befektetést jelent — de együtt mindkettő képezi azt az alapot, amelyre a márkák a következő években építik a KI-láthatóságukat.