konfigurera robots.txt för AI-crawlers på rätt sätt

Allow eller Block? Så här konfigurerar du din robots.txt för GPTBot, ClaudeBot, PerplexityBot och Google-Extended — med färdiga kodsnuttar.

robots.txt är 25 år gammal och plötsligt återigen ett strategiskt styrverktyg. Med framväxten av GPTBot, ClaudeBot, PerplexityBot och Google-Extended avgör den inte längre bara vilka URL:er Google indexerar, utan också om ditt innehåll överhuvudtaget kan dyka upp i AI-svar. I den här artikeln visar vi hur du konfigurerar denna fil på rätt sätt för AI-världen 2026 — och vilka misstag som för närvarande är särskilt vanliga.

Allow eller Block: det strategiska beslutet

Den som blockerar AI-crawlers stänger av sig själv från en växande upptäcktskanal. Varje generativt svar där ditt varumärke eller ditt innehåll skulle kunna citeras faller bort så snart källan inte är tillgänglig. För de allra flesta varumärken gäller därför: AI-crawlers är allierade och bör tillåtas. Undantag gäller för förlag, medier och företag som marknadsför sitt innehåll som betalt, exklusivt tillgång — här kan selektiv blockering vara meningsfull, helst kombinerat med licensmodeller som OpenAIs partnerskapsprogram. En reflexmässig blockering av alla AI-botar, som fortfarande var utbredd 2023, anser vi vara strategiskt felaktig 2026. Den tidiga aktivismen från vissa förlag har redan visat sig vara en konkurrensnackdel — hus som öppnade tidigt har blivit primära källor för sina ämnen i AI-system, medan blockerarna långsamt försvann från svaren.

Den typiska argumentationen mot AI-crawling — "de använder mitt innehåll utan ersättning" — missar en avgörande punkt: AI-svaret är inte slutet på användarresan, utan ofta bara början. Den som citeras i ett ChatGPT-svar vinner varumärkesmedvetenhet, seo-ordlista/fortroende/">förtroende och i många fall en direkt klick till källan. Den som inte citeras är helt enkelt osynlig. Denna mekanik fungerar desto starkare ju bättre din backlink-profil redan är förankrad i den organiska världen. En stark domän med hundratals redaktionella backlinks drar nästan alltid klicket på källan i AI-svaret, eftersom användare vill lita på det citerade varumärket. En svag domän utan extern förankring förlorar denna effekt även om den nämns i svaret.

De viktigaste användaragenterna i översikt

Innan du definierar regler måste du veta vem du riktar dig till. Följande användaragenter bör explicit nämnas i varje seriös KI-robots.txt — antingen med Allow eller med Disallow, men aldrig odefinierat. En tom post öppnar dörrar för tolkningsutrymme som vissa crawlers kan använda till din nackdel. Vi kontrollerar först i varje GEO-revision om dessa åtta bots är korrekt adresserade. I ungefär 70 procent av fallen hittar vi antingen föråldrade konfigurationer från pre-KI-eran eller inga specifika regler alls — båda är konkurrensnackdelar som kan åtgärdas omedelbart med några rader konfiguration.

• GPTBot — tränings-crawler från OpenAI
• OAI-SearchBot — ChatGPT-sökindex
• ChatGPT-Användare — direkta URL-anrop i konversationer
• ClaudeBot — crawler från Anthropic
• PerplexityBot — live-sök från Perplexity
• Google-Extended — styr Gemini- och Bard-träningsanvändning
• CCBot — Common Crawl, bas för många LLMs
• Bytespider — ByteDance, Doubao-träning

Rekommenderad standardkonfiguration

För de flesta varumärken rekommenderar vi en öppen robots.txt som explicit tillåter alla relevanta AI-crawlers och endast utesluter känsliga områden som /admin, /checkout eller interna API-endpunkter. Följande konfiguration har visat sig fungera i många projekt och kan fungera som utgångspunkt för din egen fil — sökvägarna under Disallow anpassar du självklart till din specifika webbplatsstruktur:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/

Sitemap: https://www.din-domän.se/sitemap.xml

Att blockera AI-crawlers innebär att stänga sig ute från just den upptäcktskanal där dina starka backlinks just börjar få sin fulla kraft.

Selektiva konfigurationer: när de är meningsfulla

I vissa konstellationer kan det vara meningsfullt att blockera enskilda bots eller sökvägar. Premium-innehåll bakom en betalvägg bör till exempel förhindra ChatGPT-användarbesök, annars blir innehållet indirekt fritt tillgängligt. Även interna wiki-områden, medarbetarportaler och staging-miljöer bör generellt uteslutas. En selektiv blockering av tränande crawlers — exempelvis GPTBot och CCBot — samtidigt som live-sök-bots som PerplexityBot tillåts är en genomförbar strategi för varumärken som vill skydda sin IP men ändå vilja dyka upp i realtids-svar. Denna konstellation måste dock verkligen väljas medvetet, eftersom den potentiellt kan kosta dig representation i träningsdata för kommande modellgenerationer. För de flesta av våra kunder rekommenderar vi den omvända vägen: tillåt allt som ger synlighet och differentiera istället genom licensmodeller och premiumområden.

Viktigt: En robots.txt är ingen rättslig grund, utan en artighetsmekanism. Seriösa leverantörer följer den, mindre seriösa gör det inte. Den som vill skydda sitt innehåll rättsligt behöver dessutom tekniska åtgärder som IP-blockeringar, hastighetsbegränsningar och framför allt tydliga licens- och användarvillkor. Ändå förblir robots.txt det viktigaste deklarativa styrverktyget för AI-världen. Den bör därför aldrig behandlas som en statisk fil, utan regelbundet — vi rekommenderar kvartalsvis — kontrolleras och uppdateras. Nya bots dyker upp, gamla försvinner, och vissa leverantörer ändrar sina användaragentbeteckningar tyst i bakgrunden.

Linkbuilding och robots.txt: en underskattad duo

Här kommer en aspekt in i bilden som ofta förbises i de flesta diskussioner om robots.txt: En öppen robots.txt får sin fulla effekt först när din domän också uppfattas utifrån. AI-crawlers följer länkspår precis som Googlebot. En perfekt konfigurerad robots.txt på en domän utan backlinks besöks sällan. En öppen robots.txt på en domän med en stark, ämnesrelevant backlink-profil blir däremot en guldgruva — AI-crawlers kommer ofta förbi, indexerar aktuellt innehåll snabbt och citerar ditt varumärke i de framväxande svaren.

Därför följer en pragmatisk ordning: Först öppna robots.txt för AI, sedan systematiskt bygga ut länkprofilen, och sedan mäta effekterna via referensgraden. Den som kombinerar båda åtgärderna ser tydliga förändringar i AI-synligheten inom några månader. Den som bara drar i en av de två åtgärderna förlorar en stor del av potentialen. En välkonfigurerad robots.txt-post tar dig tio minuters arbete, en systematiskt växande backlink-profil är investeringen av flera kvartal — men tillsammans utgör de grunden på vilken varumärken kommer att bygga sin AI-synlighet under de kommande åren.