Správná konfigurace souboru robots.txt pro AI crawlery

Soubor robots.txt je starý 25 let a najednou se opět stává strategickým nástrojem řízení. S nástupem GPTBot, ClaudeBot, PerplexityBot a Google-Extended již nerozhoduje pouze o tom, které URL adresy Google indexuje, ale také o tom, zda se Vaše obsahy vůbec mohou objevit v AI odpovědích. V tomto článku Vám ukážeme, jak tento soubor v roce 2026 čistě nakonfigurovat pro svět AI — a kterých chyb se aktuálně dopouští obzvláště mnoho lidí.

Povolit nebo blokovat: strategické rozhodnutí

Kdo blokuje AI crawlery, sám se odřízne od rostoucího discovery kanálu. Každá generativní odpověď, ve které by mohla být Vaše značka nebo Vaše obsahy citovány, odpadá, jakmile zdroj není dostupný. Pro naprostou většinu značek proto platí: AI crawlery jsou spojenci a měly by být povoleny. Výjimky platí pro vydavatele, média a společnosti, které své obsahy uvádějí na trh jako placené, exkluzivní aktivum — zde může mít selektivní blokování smysl, ideálně v kombinaci s licenčními modely, jako je partnerský program OpenAI. Reflexivní blokování všech AI botů, jaké bylo v roce 2023 ještě rozšířené, považujeme v roce 2026 za strategicky chybné. Raný aktivismus některých vydavatelů se již ukázal jako konkurenční nevýhoda — domy, které brzy otevřely, se staly pro AI systémy primární zdrojovou adresou pro svá témata, zatímco blokátoři pomalu mizeli z odpovědí.

Typická argumentace proti AI crawlingu — "využívají moje obsahy bez protihodnoty" — opomíjí rozhodující bod: AI odpověď není koncem cesty uživatele, ale často teprve začátkem. Kdo je citován v odpovědi ChatGPT, získává povědomí o značce, důvěru a v mnoha případech přímé kliknutí na zdroj. Kdo citován není, je prostě neviditelný. Tato mechanika působí o to silněji, čím lépe je Váš profil backlinků již zakotven v organickém světě. Silná doména se stovkami redakčních zpětných odkazů si v AI odpovědi téměř vždy přitáhne kliknutí na zdroj, protože uživatelé chtějí důvěřovat citované značce. Slabá doména bez externího ukotvení tento efekt promarní, i když je v odpovědi zmíněna.

Nejdůležitější User-Agenty v přehledu

Než definujete pravidla, musíte vědět, koho oslovujete. Následující User-Agenty by se měly v každém seriózně míněném AI robots.txt explicitně objevit — buď s Allow, nebo s Disallow, ale nikdy nedefinované. Prázdný záznam otevírá dveře dokořán prostoru pro interpretaci, který někteří crawleři vyloží ve Váš neprospěch. V každém GEO auditu nejprve kontrolujeme, zda je těchto osm botů správně adresováno. Přibližně v 70 procentech případů nacházíme buď zastaralé konfigurace z předAI éry, nebo vůbec žádná specifická pravidla — obojí jsou konkurenční nevýhody, které lze okamžitě napravit několika řádky konfigurace.

• GPTBot — tréninkový crawler od OpenAI
• OAI-SearchBot — index ChatGPT-Search
• ChatGPT-User — přímá volání URL v konverzacích
• ClaudeBot — crawler od Anthropic
• PerplexityBot — Live-Search od Perplexity
• Google-Extended — řídí využití pro trénink Gemini a Bard
• CCBot — Common Crawl, základ mnoha LLM
• Bytespider — ByteDance, trénink Doubao

Doporučená standardní konfigurace

Pro většinu značek doporučujeme otevřený robots.txt, který explicitně povoluje všechny relevantní AI crawlery a vylučuje pouze citlivé oblasti jako /admin, /checkout nebo interní API endpointy. Následující konfigurace se osvědčila v řadě projektů a může sloužit jako výchozí bod pro Váš vlastní soubor — cesty pod Disallow samozřejmě přizpůsobte své konkrétní struktuře webu:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/

Sitemap: https://www.vase-domena.cz/sitemap.xml

Blokovat AI crawlery znamená vyloučit se právě z toho discovery kanálu, ve kterém Vaše silné backlinky teprve plně rozvinou svou sílu.

Selektivní konfigurace: kdy mají smysl

V určitých konstelacích může mít smysl cíleně blokovat jednotlivé boty nebo cesty. Prémiový obsah za paywallem by například měl zabránit voláním ChatGPT-User, protože jinak by se obsahy nepřímo staly volně přístupnými. Také interní wiki oblasti, zaměstnanecké portály a staging prostředí by měly být obecně vyloučeny. Selektivní blokování trénujících crawlerů — například GPTBot a CCBot — při současném povolení Live-Search botů jako PerplexityBot je schůdná strategie pro značky, které chtějí chránit své duševní vlastnictví, ale přesto se objevit v odpovědích v reálném čase. Tato konstelace však musí být skutečně vědomě zvolena, protože Vás potenciálně stojí reprezentaci v tréninkových datech nadcházejících generací modelů. Pro většinu našich zákazníků doporučujeme opačnou cestu: povolit vše, co přináší viditelnost, a místo toho diferencovat prostřednictvím licenčních modelů a prémiových oblastí.

Důležité: Soubor robots.txt není právním základem, ale mechanismem zdvořilosti. Seriózní poskytovatelé jej dodržují, méně seriózní nikoliv. Kdo chce obsahy chránit právně bezpečně, potřebuje navíc technická opatření jako blokování IP adres, rate limits a především jasné licenční a uživatelské podmínky. Přesto zůstává robots.txt nejdůležitějším deklarativním nástrojem řízení pro svět AI. Neměl by být proto nikdy chápán jako statický soubor, ale pravidelně — doporučujeme čtvrtletně — kontrolován a aktualizován. Objevují se noví boti, staří mizí a někteří poskytovatelé tiše na pozadí mění označení svých User-Agentů.

Linkbuilding a robots.txt: podceňované duo

Zde vstupuje do hry aspekt, který je ve většině diskusí o robots.txt opomíjen: Otevřený robots.txt plně rozvine svůj účinek teprve tehdy, když je Vaše doména vnímána i zvenčí. AI crawleři sledují stopy odkazů stejně jako Googlebot. Perfektně nakonfigurovaný robots.txt na doméně bez zpětných odkazů bude navštěvován jen zřídka. Otevřený robots.txt na doméně se silným, tematicky relevantním profilem zpětných odkazů se naopak stane zlatým dolem — AI crawleři se zde často zastavují, rychle indexují aktuální obsahy a citují Vaši značku ve vznikajících odpovědích.

Z toho vyplývá pragmatické pořadí: nejprve otevřít robots.txt pro AI, poté systematicky budovat profil odkazů, poté měřit efekty prostřednictvím Reference Rate. Kdo kombinuje obě páky, vidí během několika měsíců výrazné posuny v AI viditelnosti. Kdo zatáhne jen za jednu z obou pák, promarní velkou část potenciálu. Dobře nakonfigurovaný záznam v robots.txt Vás stojí deset minut práce, systematicky rostlý profil zpětných odkazů je investicí několika čtvrtletí — společně však oba tvoří základ, na kterém budou značky v nadcházejících letech budovat svou AI viditelnost.