Konfigurera robots.txt rätt för AI-crawlers

robots.txt är 25 år gammal och har plötsligt blivit ett strategiskt styrinstrument igen. Med framväxten av GPTBot, ClaudeBot, PerplexityBot och Google-Extended avgör den inte längre bara vilka URL:er Google indexerar, utan också om ditt innehåll överhuvudtaget kan dyka upp i AI-svar. I den här artikeln visar vi hur du konfigurerar den här filen rent för AI-världen 2026 — och vilka fel som just nu är särskilt vanliga.

Allow eller block: det strategiska beslutet

Den som blockerar AI-crawlers stänger sig själv ute från en växande discovery-kanal. Varje generativt svar där ditt varumärke eller ditt innehåll skulle kunna citeras faller bort så snart källan inte är åtkomlig. För de allra flesta varumärken gäller därför: AI-crawlers är allierade och bör tillåtas. Undantag gäller för förlag, medier och företag som marknadsför sitt innehåll som en betalpliktig, exklusiv tillgång — här kan selektiv blockering vara meningsfull, idealt kombinerat med licensmodeller som OpenAI:s Partnership-Program. En reflexmässig blockering av alla AI-bottar, som var utbredd ännu 2023, anser vi 2026 vara strategiskt fel. Den tidiga aktivismen hos vissa förlag har redan visat sig vara en konkurrensnackdel — hus som öppnade tidigt blev av AI-system till primär källadress för sina ämnen, medan blockerarna långsamt försvann ur svaren.

Den typiska argumentationen mot AI-crawling — "de använder mitt innehåll utan motprestation" — missar en avgörande poäng: AI-svaret är inte slutet på user journey, utan ofta bara början. Den som citeras i ett ChatGPT-svar vinner varumärkesmedvetenhet, trust och i många fall ett direkt klick till källan. Den som inte citeras är helt enkelt osynlig. Den här mekaniken verkar starkare ju bättre din backlink-profil redan är förankrad i den organiska världen. En stark domän med hundratals redaktionella backlinks drar i AI-svaret nästan alltid med sig klicket till källan, eftersom användare vill lita på det citerade varumärket. En svag domän utan extern förankring förlorar den här effekten även när den nämns i svaret.

De viktigaste user-agents i översikt

Innan du definierar regler måste du veta vem du tilltalar. Följande user-agents bör explicit förekomma i varje seriös AI-robots.txt — antingen med Allow eller med Disallow, men aldrig odefinierade. En tom post öppnar dörrar för tolkningsutrymme som vissa crawlers utnyttjar till din nackdel. Vi kontrollerar i varje GEO-audit först om dessa åtta bottar är korrekt adresserade. I ungefär 70 procent av fallen hittar vi antingen föråldrade konfigurationer från pre-AI-eran eller inga specifika regler alls — båda konkurrensnackdelar som kan åtgärdas omedelbart med några rader konfiguration.

• GPTBot — träningscrawler från OpenAI
• OAI-SearchBot — ChatGPT-sökindex
• ChatGPT-User — direkta URL-anrop i konversationer
• ClaudeBot — crawler från Anthropic
• PerplexityBot — Live-sök från Perplexity
• Google-Extended — styr Gemini- och Bard-träningsanvändning
• CCBot — Common Crawl, grund för många LLM:er
• Bytespider — ByteDance, Doubao-träning

Rekommenderad standardkonfiguration

För de flesta varumärken rekommenderar vi en öppen robots.txt som explicit tillåter alla relevanta AI-crawlers och bara utesluter känsliga områden som /admin, /checkout eller interna API-endpoints. Följande konfiguration har visat sig fungera i många projekt och kan tjäna som utgångspunkt för din egen fil — sökvägarna under Disallow anpassar du naturligtvis till din konkreta sajtstruktur:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/

Sitemap: https://www.ihre-domain.de/sitemap.xml

Att blockera AI-crawlers innebär att stänga ute sig själv från exakt den discovery-kanal där dina starka backlinks just nu utvecklar sin fulla kraft.

Selektiva konfigurationer: när de är meningsfulla

I vissa konstellationer kan det vara meningsfullt att blockera enskilda bottar eller sökvägar målinriktat. Premium-innehåll bakom en betalvägg bör till exempel förhindra ChatGPT-User-anrop, eftersom innehåll annars indirekt blir fritt tillgängligt. Även interna wiki-områden, medarbetarportaler och staging-miljöer bör generellt uteslutas. En selektiv blockering av tränande crawlers — till exempel GPTBot och CCBot — vid samtidig tillåtelse av Live-Search-bottar som PerplexityBot är en gångbar strategi för varumärken som vill skydda sin IP men ändå dyka upp i realtidssvar. Denna konstellation måste dock väljas riktigt medvetet, eftersom den potentiellt kostar dig representation i träningsdata för kommande modellgenerationer. För de flesta av våra kunder rekommenderar vi motsatt väg: tillåt allt som ger synlighet, och differentiera istället via licensmodeller och premiumområden.

Viktigt: en robots.txt är ingen rättslig grund, utan en artighetsmekanism. Seriösa leverantörer följer den, mindre seriösa inte. Den som vill skydda innehåll rättssäkert behöver dessutom tekniska åtgärder som IP-spärrar, rate limits och framför allt tydliga licens- och användarvillkor. Trots det förblir robots.txt det viktigaste deklarativa styrinstrumentet för AI-världen. Den bör därför aldrig behandlas som en statisk fil, utan kontrolleras och uppdateras regelbundet — vi rekommenderar kvartalsvis. Nya bottar dyker upp, gamla försvinner, och vissa leverantörer ändrar sina user-agent-beteckningar tyst i bakgrunden.

Länkbygge och robots.txt: en underskattad duo

Här kommer en aspekt in i bilden som förbises i de flesta robots.txt-diskussioner: en öppen robots.txt utvecklar sin fulla effekt först när din domän också uppmärksammas utifrån. AI-crawlers följer länkspår precis som Googlebot. En perfekt konfigurerad robots.txt på en domän utan backlinks besöks bara sällan. En öppen robots.txt på en domän med stark, ämnesrelevant backlink-profil blir däremot en guldgruva — AI-crawlers tittar förbi ofta, indexerar aktuellt innehåll snabbt och citerar ditt varumärke i de svar som uppstår.

Av detta följer en pragmatisk ordningsföljd: öppna först robots.txt för AI, bygg sedan systematiskt ut länkprofilen, mät sedan effekterna via Reference Rate. Den som kombinerar båda spakar ser inom några månader tydliga förskjutningar i AI-synligheten. Den som bara drar i en av de två spakarna förlorar en stor del av potentialen. En välkonfigurerad robots.txt-post kostar dig tio minuters arbete, en systematiskt vuxen backlink-profil är investeringen av flera kvartal — men tillsammans bildar båda fundamentet på vilket varumärken under de kommande åren kommer att bygga sin AI-synlighet.