konfigurere robots.txt korrekt til AI-Crawlere

Allow eller Block? Sådan konfigurerer du din robots.txt til GPTBot, ClaudeBot, PerplexityBot og Google-Extended — med færdige kode-snippets.

robots.txt er 25 år gammel og pludselig igen et strategisk styringsværktøj. Med fremkomsten af GPTBot, ClaudeBot, PerplexityBot og Google-Extended bestemmer den ikke længere kun, hvilke URL'er Google indekserer, men også om dit indhold overhovedet kan optræde i KI-svar. I denne artikel viser vi, hvordan du konfigurerer denne fil korrekt til KI-verdenen i 2026 — og hvilke fejl der i øjeblikket er særligt almindelige.

Allow eller Block: den strategiske beslutning

Den, der blokerer KI-Crawlere, skærer sig selv fra en voksende discovery-kanal. Hver generativ svar, hvor dit brand eller dit indhold kunne blive citeret, falder væk, så snart kilden ikke er tilgængelig. For de fleste brands gælder derfor: KI-Crawlere er allierede og bør være tilladt. Undtagelser gælder for forlag, medier og virksomheder, der markedsfører deres indhold som betalt, eksklusivt aktiv — her kan selektiv blokering være fornuftig, ideelt kombineret med licensmodeller som OpenAIs partnerskabsprogram. En refleksiv blokering af alle KI-bots, som var udbredt i 2023, mener vi er strategisk forkert i 2026. Den tidlige aktivisme fra nogle forlag har allerede vist sig at være en konkurrenceulempe — huse, der åbnede tidligt, blev til primære kilder for deres emner, mens blokkerne langsomt forsvandt fra svarene.

Den typiske argumentation mod KI-Crawling — "de bruger mine indhold uden modytelse" — overser et afgørende punkt: KI-svaret er ikke slutningen på brugerrejsen, men ofte først begyndelsen. Den, der bliver citeret i et ChatGPT-svar, opnår brand-awareness, seo-ordliste/tillid/">tillid og i mange tilfælde et direkte klik til kilden. Den, der ikke bliver citeret, er simpelthen usynlig. Denne mekanik virker desto stærkere, jo bedre dit backlink-profil allerede er forankret i den organiske verden. En stærk domæne med hundrede redaktionelle backlinks trækker næsten altid klik på kilden i KI-svaret, fordi brugere ønsker at stole på det citerede brand. En svag domæne uden ekstern forankring mister denne effekt, selv når den nævnes i svaret.

De vigtigste User-Agents i overblik

Før du definerer regler, skal du vide, hvem du henvender dig til. De følgende User-Agents bør fremgå eksplicit i enhver seriøs KI-robots.txt — enten med Allow eller med Disallow, men aldrig udefineret. En tom post åbner døren for fortolkningsrum, som nogle crawlere kan udnytte til din ulempe. Vi tjekker i hver GEO-audit først, om disse otte bots er korrekt adresseret. I cirka 70 procent af tilfældene finder vi enten forældede konfigurationer fra pre-KI-æraen eller slet ingen specifikke regler — begge dele er konkurrenceulemper, der kan rettes med et par linjer konfiguration.

• GPTBot — trænings-crawler fra OpenAI
• OAI-SearchBot — ChatGPT-søgeindeks
• ChatGPT-User — direkte URL-opkald i samtaler
• ClaudeBot — crawler fra Anthropic
• PerplexityBot — live-søgning fra Perplexity
• Google-Extended — styrer Gemini- og Bard-træningsbrug
• CCBot — Common Crawl, basis for mange LLM'er
• Bytespider — ByteDance, Doubao-træning

Anbefalet standardkonfiguration

For de fleste brands anbefaler vi en åben robots.txt, der eksplicit tillader alle relevante KI-Crawlere og kun udelukker følsomme områder som /admin, /checkout eller interne API-endepunkter. Den følgende konfiguration har vist sig effektiv i adskillige projekter og kan tjene som udgangspunkt for din egen fil — stierne under Disallow tilpasser du naturligvis til din konkrete site-struktur:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/

Sitemap: https://www.dit-domæne.dk/sitemap.xml

At blokere KI-Crawlere betyder at udelukke sig selv fra netop den discovery-kanal, hvor dine stærke backlinks netop begynder at udfolde deres fulde kraft.

Selektive konfigurationer: hvornår de er fornuftige

I visse konstellationer kan det være fornuftigt at blokere enkelte bots eller stier målrettet. Premium-indhold bag en betalingsmur bør for eksempel forhindre ChatGPT-User-opkald, da indhold ellers bliver indirekte frit tilgængeligt. Også interne wiki-områder, medarbejderportaler og staging-miljøer bør generelt udelukkes. En selektiv blokering af trænings-crawlere — for eksempel GPTBot og CCBot — samtidig med tilladelse af live-søgningsbots som PerplexityBot er en gangbar strategi for brands, der ønsker at beskytte deres IP, men stadig vil optræde i realtids-svar. Denne konstellation skal dog virkelig vælges bevidst, da den potentielt kan koste dig repræsentationen i træningsdata for kommende modelgenerationer. For de fleste af vores kunder anbefaler vi den omvendte tilgang: tillade alt, der skaber synlighed, og i stedet differentiere gennem licensmodeller og premium-områder.

Vigtigt: En robots.txt er ikke en juridisk grundlag, men en høflighedsmekanisme. Seriøse udbydere overholder den, mindre seriøse gør ikke. Den, der ønsker at beskytte indhold juridisk, har brug for yderligere tekniske foranstaltninger som IP-blokering, rate limits og især klare licens- og brugsbetingelser. Alligevel forbliver robots.txt det vigtigste deklarative styringsværktøj for KI-verdenen. Den bør derfor aldrig behandles som en statisk fil, men regelmæssigt — vi anbefaler kvartalsvis — gennemgås og opdateres. Nye bots dukker op, gamle forsvinder, og nogle udbydere ændrer stille deres User-Agent-betegnelser i baggrunden.

Linkbuilding og robots.txt: et undervurderet duo

Her kommer et aspekt i spil, som i de fleste robots.txt-diskussioner overses: En åben robots.txt udfolder sin fulde effekt først, når dit domæne også bliver opfattet udefra. KI-Crawlere følger linkspor ligesom Googlebot. En perfekt konfigureret robots.txt på et domæne uden backlinks bliver sjældent besøgt. En åben robots.txt på et domæne med et stærkt, emnerelateret backlink-profil derimod bliver til en guldgrube — KI-Crawlere kommer ofte forbi, indekserer aktuelle indhold hurtigt og citerer dit brand i de fremkomne svar.

Deraf følger en pragmatisk rækkefølge: Først åbne robots.txt for KI, derefter systematisk udvide linkprofilen, så måle effekterne gennem reference rate. Den, der kombinerer begge greb, ser inden for få måneder markante ændringer i KI-synligheden. Den, der kun trækker i et af de to greb, mister en stor del af potentialet. En godt konfigureret robots.txt-post koster dig ti minutters arbejde, et systematisk voksende backlink-profil er investeringen af flere kvartaler — men sammen danner de fundamentet, hvorpå brands i de kommende år vil opbygge deres KI-synlighed.