Konfigurer robots.txt korrekt til AI-crawlere

Allow eller Block? Sådan konfigurerer du din robots.txt til GPTBot, ClaudeBot, PerplexityBot og Google-Extended — med færdige kode-snippets.

Robots.txt er 25 år gammel og pludselig igen et strategisk styringsinstrument. Med fremkomsten af GPTBot, ClaudeBot, PerplexityBot og Google-Extended afgør den ikke længere kun, hvilke URL'er Google indekserer, men også, om dit indhold overhovedet kan dukke op i AI-svar. I denne artikel viser vi dig, hvordan du konfigurerer denne fil rent til AI-verdenen i 2026 — og hvilke fejl der i øjeblikket forekommer særligt hyppigt.

Allow eller Block: den strategiske beslutning

Den, der blokerer AI-crawlere, skærer sig selv af fra en voksende discovery-kanal. Hvert generativt svar, hvor dit brand eller dit indhold kunne citeres, falder bort, så snart kilden ikke er tilgængelig. For langt de fleste brands gælder derfor: AI-crawlere er allierede og bør tillades. Undtagelser gælder for forlag, medier og virksomheder, der markedsfører deres indhold som et betalingspligtigt, eksklusivt aktiv — her kan selektiv blokering give mening, ideelt kombineret med licensmodeller som OpenAIs Partnership-program. En refleksagtig blokade af alle AI-bots, som var udbredt i 2023, anser vi i 2026 for strategisk forkert. Den tidlige aktivisme hos nogle forlag har allerede vist sig at være en konkurrencemæssig ulempe — huse, der åbnede tidligt, blev af AI-systemer gjort til primær kildeadresse for deres emner, mens blokørerne langsomt forsvandt ud af svarene.

Den typiske argumentation mod AI-crawling — "de bruger mit indhold uden modydelse" — overser et afgørende punkt: AI-svaret er ikke afslutningen på brugerrejsen, men ofte først begyndelsen. Den, der citeres i et ChatGPT-svar, vinder brand-awareness, tillid og i mange tilfælde et direkte klik til kilden. Den, der ikke citeres, er ganske enkelt usynlig. Denne mekanik virker så meget desto stærkere, jo bedre din backlink-profil allerede er forankret i den organiske verden. Et stærkt domæne med hundredvis af redaktionelle backlinks trækker næsten altid klikket til kilden med sig i AI-svaret, fordi brugere ønsker at stole på det citerede brand. Et svagt domæne uden ekstern forankring forspilder denne effekt, selv når det nævnes i svaret.

De vigtigste user-agents i overblik

Før du definerer regler, skal du vide, hvem du henvender dig til. Følgende user-agents bør optræde eksplicit i enhver seriøs AI-robots.txt — enten med Allow eller med Disallow, men aldrig udefinerede. En tom indtastning åbner dør og port for fortolkningsrum, som nogle crawlere udlægger til din ulempe. I hver GEO-audit kontrollerer vi først, om disse otte bots er korrekt adresseret. I cirka 70 procent af tilfældene finder vi enten forældede konfigurationer fra pre-AI-æraen eller slet ingen specifikke regler — begge dele konkurrencemæssige ulemper, som lader sig udbedre øjeblikkeligt med et par linjers konfiguration.

• GPTBot — trænings-crawler fra OpenAI
• OAI-SearchBot — ChatGPT-Search-indeks
• ChatGPT-User — direkte URL-opkald i samtaler
• ClaudeBot — crawler fra Anthropic
• PerplexityBot — live-search fra Perplexity
• Google-Extended — styrer Gemini- og Bard-træningsanvendelse
• CCBot — Common Crawl, basis for mange LLM'er
• Bytespider — ByteDance, Doubao-træning

Anbefalet standardkonfiguration

For de fleste brands anbefaler vi en åben robots.txt, der eksplicit tillader alle relevante AI-crawlere og kun udelukker følsomme områder som /admin, /checkout eller interne API-endpoints. Følgende konfiguration har bevist sit værd i talrige projekter og kan tjene som udgangspunkt for din egen fil — stierne under Disallow tilpasser du naturligvis til din konkrete site-struktur:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/

Sitemap: https://www.ihre-domain.de/sitemap.xml

At blokere AI-crawlere betyder at lukke sig selv ude af præcis den discovery-kanal, hvor dine stærke backlinks først nu udfolder deres fulde kraft.

Selektive konfigurationer: hvornår de giver mening

I bestemte konstellationer kan det give mening at blokere enkelte bots eller stier målrettet. Premium-indhold bag en paywall bør for eksempel forhindre ChatGPT-User-opkald, da indhold ellers indirekte bliver frit tilgængeligt. Også interne wiki-områder, medarbejderportaler og staging-miljøer hører generelt til udelukkelse. En selektiv blokering af trænende crawlere — for eksempel GPTBot og CCBot — samtidig med tilladelse af live-search-bots som PerplexityBot er en farbar strategi for brands, der vil beskytte deres IP, men alligevel vil optræde i realtidssvar. Denne konstellation skal dog vælges virkelig bevidst, for den koster dig potentielt repræsentationen i træningsdata for kommende modelgenerationer. For de fleste af vores kunder anbefaler vi den modsatte vej: tillad alt, der bringer synlighed, og differentier i stedet via licensmodeller og premium-områder.

Vigtigt: En robots.txt er ikke et retsgrundlag, men en høflighedsmekanisme. Seriøse udbydere overholder den, mindre seriøse gør ikke. Den, der vil beskytte indhold juridisk sikkert, har desuden brug for tekniske foranstaltninger som IP-spærringer, rate limits og frem for alt klare licens- og brugsbetingelser. Alligevel forbliver robots.txt det vigtigste deklarative styringsinstrument for AI-verdenen. Den bør derfor aldrig behandles som en statisk fil, men regelmæssigt — vi anbefaler kvartalsvis — gennemgås og opdateres. Nye bots dukker op, gamle forsvinder, og nogle udbydere ændrer stilfærdigt deres user-agent-betegnelser i baggrunden.

Linkbuilding og robots.txt: en undervurderet duo

Her kommer et aspekt i spil, som overses i de fleste robots.txt-diskussioner: En åben robots.txt udfolder først sin fulde virkning, når dit domæne også bemærkes udefra. AI-crawlere følger link-spor lige så vel som Googlebot. En perfekt konfigureret robots.txt på et domæne uden backlinks bliver kun sjældent besøgt. En åben robots.txt på et domæne med stærk, emnerelevant backlink-profil bliver derimod en guldgrube — AI-crawlere kigger ofte forbi, indekserer aktuelt indhold hurtigt og citerer dit brand i de opstående svar.

Heraf følger en pragmatisk rækkefølge: Åbn først robots.txt for AI, udbyg derefter linkprofilen systematisk, og mål derefter effekterne via Reference Rate. Den, der kombinerer begge løftestænger, ser inden for få måneder tydelige forskydninger i AI-synligheden. Den, der kun trækker i en af de to løftestænger, forspilder en stor del af potentialet. En velkonfigureret robots.txt-indtastning koster dig ti minutters arbejde, en systematisk vokset backlink-profil er en investering over flere kvartaler — men sammen danner begge fundamentet, som brands i de kommende år vil bygge deres AI-synlighed på.