Správná konfigurace robots.txt pro AI-Crawlery

Allow nebo Block? Takto nakonfigurujete svou robots.txt pro GPTBot, ClaudeBot, PerplexityBot a Google-Extended — s hotovými kódovými ukázkami.

robots.txt je 25 let starý a najednou se opět stává strategickým nástrojem řízení. S příchodem GPTBot, ClaudeBot, PerplexityBot a Google-Extended již nerozhoduje pouze o tom, které URL Google indexuje, ale také o tom, zda se vaše obsah vůbec může objevit v odpovědích AI. V tomto článku ukážeme, jak tuto soubor správně nakonfigurovat pro svět AI v roce 2026 — a jaké chyby se v současnosti často vyskytují.

Allow nebo Block: strategické rozhodnutí

Kdo blokuje AI crawlery, odřízne se od rostoucího kanálu objevování. Každá generativní odpověď, ve které by mohla být citována vaše značka nebo obsah, vypadne, jakmile není zdroj dostupný. Pro většinu značek platí: AI crawlery jsou spojenci a měly by být povoleny. Výjimky platí pro vydavatele, média a společnosti, které prodávají svůj obsah jako placený, exkluzivní majetek — zde může mít smysl selektivní blokování, ideálně kombinované s licenčními modely, jako je partnerský program OpenAI. Reflexivní blokování všech AI botů, jak bylo běžné v roce 2023, považujeme v roce 2026 za strategicky chybné. Brzký aktivismus některých vydavatelů se již ukázal jako konkurenční nevýhoda — domy, které se otevřely brzy, se staly primárními zdroji pro svá témata, zatímco blokující pomalu vypadávali z odpovědí.

Typická argumentace proti AI crawlingu — "využívají mé obsah bez náhrady" — opomíjí rozhodující bod: Odpověď AI není koncem uživatelské cesty, ale často teprve začátkem. Kdo je citován v odpovědi ChatGPT, získává povědomí o značce, důvěru a v mnoha případech přímý klik na zdroj. Kdo není citován, je prostě neviditelný. Tato mechanika funguje tím silněji, čím lépe je váš seo-slovnik/backlink/">backlink profil již zakotven v organickém světě. Silná doména se stovkami redakčních backlinků téměř vždy přitáhne kliknutí na zdroj v odpovědi AI, protože uživatelé chtějí důvěřovat citované značce. Slabá doména bez externího zakotvení ztrácí tento efekt i v případě, že je zmíněna v odpovědi.

Nejdůležitější User-Agents v přehledu

Před tím, než definujete pravidla, musíte vědět, koho oslovujete. Následující User-Agents by měly být v každé vážně míněné AI-robots.txt výslovně uvedeny — buď s Allow, nebo s Disallow, ale nikdy ne nedefinované. Prázdný záznam otevírá dveře pro prostor pro interpretaci, který někteří crawlery vykládají ve váš neprospěch. V každém GEO auditu nejprve kontrolujeme, zda jsou tyto čtyři boty správně adresovány. V přibližně 70 procentech případů nalézáme buď zastaralé konfigurace z doby před AI, nebo dokonce žádná specifická pravidla — obojí jsou konkurenční nevýhody, které lze okamžitě vyřešit několika řádky konfigurace.

• GPTBot — tréninkový crawler od OpenAI
• OAI-SearchBot — ChatGPT-Search-Index
• ChatGPT-User — přímé URL volání v konverzacích
• ClaudeBot — crawler od Anthropic
• PerplexityBot — Live-Search od Perplexity
• Google-Extended — řídí využití tréninků Gemini a Bard
• CCBot — Common Crawl, základ mnoha LLMs
• Bytespider — ByteDance, Doubao-trénink

Doporučená standardní konfigurace

Pro většinu značek doporučujeme otevřenou robots.txt, která výslovně povoluje všechny relevantní AI crawlery a pouze vylučuje citlivé oblasti jako /admin, /checkout nebo interní API koncové body. Následující konfigurace se osvědčila v mnoha projektech a může sloužit jako výchozí bod pro váš vlastní soubor — cesty pod Disallow samozřejmě přizpůsobíte své konkrétní struktuře webu:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/

Sitemap: https://www.vase-domena.cz/sitemap.xml

Blokování AI crawlerů znamená, že se uzavíráte do kanálu objevování, ve kterém vaše silné backlinky teprve začínají plně fungovat.

Selektivní konfigurace: kdy mají smysl

V určitých konstelacích může mít smysl cíleně blokovat jednotlivé boty nebo cesty. Prémiový obsah za paywallem by měl například zabránit voláním ChatGPT-User, jinak se obsah stane nepřímo volně dostupným. Také interní wiki oblasti, portály pro zaměstnance a stagingové prostředí by měly být obecně vyloučeny. Selektivní blokování tréninkových crawlerů — například GPTBot a CCBot — při současném povolení Live-Search botů jako PerplexityBot je proveditelná strategie pro značky, které chtějí chránit svou IP, ale přesto se chtějí objevit v reálných odpovědích. Tato konstelace však musí být skutečně vědomě zvolena, protože vás potenciálně připraví o reprezentaci v tréninkových datech budoucích generací modelů. Pro většinu našich klientů doporučujeme opačný přístup: povolit vše, co přináší viditelnost, a místo toho diferencovat pomocí licenčních modelů a prémiových oblastí.

Důležité: robots.txt není právním základem, ale mechanismem slušnosti. Seriózní poskytovatelé se jím řídí, méně seriózní nikoli. Kdo chce obsah právně chránit, potřebuje navíc technická opatření jako IP blokace, rate limits a především jasné licenční a uživatelské podmínky. Přesto zůstává robots.txt nejdůležitějším deklarativním řídicím nástrojem pro svět AI. Proto by nikdy neměla být považována za statický soubor, ale měla by být pravidelně — doporučujeme čtvrtletně — kontrolována a aktualizována. Noví boti se objevují, staří mizí a někteří poskytovatelé tiše mění své názvy User-Agent.

Linkbuilding a robots.txt: podceňované duo

Zde přichází do hry aspekt, který je v většině diskuzí o robots.txt opomíjen: Otevřená robots.txt rozvine svou plnou účinnost teprve tehdy, když je vaše doména také vnímána zvenčí. AI crawlery následují linkové stopy stejně jako Googlebot. Perfektně nakonfigurovaná robots.txt na doméně bez backlinků bude zřídka navštívena. Otevřená robots.txt na doméně se silným, tematicky relevantním backlink profilem se naopak stává zlatým dolem — AI crawlery často přicházejí, rychle indexují aktuální obsah a citují vaši značku v vznikajících odpovědích.

Z toho vyplývá pragmatická posloupnost: Nejprve otevřít robots.txt pro AI, poté systematicky rozšiřovat linkový profil, a nakonec měřit efekty pomocí Reference Rate. Kdo kombinuje oba páky, vidí během několika měsíců výrazné posuny v viditelnosti AI. Kdo zatáhne pouze za jednu z páček, ztrácí velkou část potenciálu. Dobře nakonfigurovaný záznam robots.txt vás stojí deset minut práce, systematicky vybudovaný backlink profil je investicí několika kvartálů — ale společně tvoří oba základ, na kterém značky v následujících letech vybudují svou viditelnost v AI.