robots.txt voor AI-crawlers correct configureren

De robots.txt is 25 jaar oud en plotseling weer een strategisch sturingsinstrument. Met de opkomst van GPTBot, ClaudeBot, PerplexityBot en Google-Extended beslist het niet meer alleen over welke URL's Google indexeert, maar ook of uw inhoud überhaupt in KI-antwoorden kan verschijnen. In dit artikel laten we zien hoe u dit bestand in 2026 schoon configureert voor de KI-wereld — en welke fouten momenteel bijzonder vaak voorkomen.

Allow of Block: de strategische beslissing

Wie KI-crawlers blokkeert, sluit zichzelf af van een groeiend discovery-kanaal. Elke generatieve reactie waarin uw merk of uw inhoud geciteerd kan worden, valt weg zodra de bron niet toegankelijk is. Voor de meeste merken geldt daarom: KI-crawlers zijn bondgenoten en moeten toegestaan zijn. Uitzonderingen gelden voor uitgevers, media en bedrijven die hun inhoud als betaalbaar, exclusief bezit vermarkten — hier kan selectieve blokkering zinvol zijn, idealiter gecombineerd met licentiemodellen zoals OpenAI's Partnership-programma. Een reflexmatige blokkade van alle KI-bots, zoals die in 2023 nog wijdverbreid was, beschouwen we in 2026 als strategisch onjuist. Het vroege activisme van sommige uitgevers heeft zich al als een concurrentienadeel bewezen — huizen die vroeg open waren, werden door KI-systemen de primaire bron voor hun onderwerpen, terwijl de blokkers langzaam uit de antwoorden verdwenen.

De typische argumentatie tegen KI-crawling — "ze gebruiken mijn inhoud zonder tegenprestatie" — miskent een cruciaal punt: De KI-reactie is niet het einde van de gebruikersreis, maar vaak pas het begin. Wie in een ChatGPT-reactie geciteerd wordt, wint merkbekendheid, seo-woordenlijst/vertrouwen/">vertrouwen en in veel gevallen een directe klik naar de bron. Wie niet geciteerd wordt, is simpelweg onzichtbaar. Deze mechaniek werkt des te sterker, naarmate uw backlink-profiel al beter verankerd is in de organische wereld. Een sterke domein met honderden redactionele backlinks trekt in de KI-reactie bijna altijd de klik naar de bron, omdat gebruikers de geciteerde merk willen vertrouwen. Een zwakke domein zonder externe verankering verliest dit effect zelfs als het in de reactie genoemd wordt.

De belangrijkste User-Agents in overzicht

Voordat u regels definieert, moet u weten wie u aanspreekt. De volgende User-Agents moeten in elke serieus bedoelde KI-robots.txt expliciet voorkomen — ofwel met Allow of met Disallow, maar nooit ongedefinieerd. Een lege vermelding opent de deur voor interpretatieruimte, die sommige crawlers in uw nadeel kunnen interpreteren. We controleren in elke GEO-audit eerst of deze acht bots correct zijn aangesproken. In ongeveer 70 procent van de gevallen vinden we ofwel verouderde configuraties uit het pre-KI-tijdperk of helemaal geen specifieke regels — beide zijn concurrentienadelen die met een paar regels configuratie onmiddellijk kunnen worden opgelost.

• GPTBot — Trainings-crawler van OpenAI
• OAI-SearchBot — ChatGPT-zoekindex
• ChatGPT-User — directe URL-aanroepen in gesprekken
• ClaudeBot — crawler van Anthropic
• PerplexityBot — Live-Search van Perplexity
• Google-Extended — Beheert Gemini- en Bard-trainingsgebruik
• CCBot — Common Crawl, basis van veel LLM's
• Bytespider — ByteDance, Doubao-training

Aanbevolen standaardconfiguratie

Voor de meeste merken raden we een open robots.txt aan, die alle relevante KI-crawlers expliciet toestaat en alleen gevoelige gebieden zoals /admin, /checkout of interne API-eindpunten uitsluit. De volgende configuratie heeft zich in tal van projecten bewezen en kan als uitgangspunt voor uw eigen bestand dienen — de paden onder Disallow past u uiteraard aan uw concrete site-structuur aan:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/

Sitemap: https://www.ihre-domain.de/sitemap.xml

KI-crawlers blokkeren betekent zich uitsluiten van precies dat discovery-kanaal waarin uw sterke backlinks net hun volle kracht ontplooien.

Selectieve configuraties: wanneer ze zinvol zijn

In bepaalde constellaties kan het zinvol zijn om specifieke bots of paden doelgericht te blokkeren. Premium-inhoud achter een paywall zou bijvoorbeeld ChatGPT-user-aanroepen moeten voorkomen, anders worden inhoud indirect vrij toegankelijk. Ook interne wiki-gebieden, medewerkersportalen en staging-omgevingen moeten in het algemeen worden uitgesloten. Een selectieve blokkering van trainende crawlers — bijvoorbeeld GPTBot en CCBot — met gelijktijdige toestemming voor live-search-bots zoals PerplexityBot is een haalbare strategie voor merken die hun IP willen beschermen, maar toch in realtime-antwoorden willen verschijnen. Deze constellatie moet echter echt bewust worden gekozen, want het kan u potentieel de representatie in trainingsdata van toekomstige modelgeneraties kosten. Voor de meeste van onze klanten raden we de omgekeerde weg aan: alles toestaan wat zichtbaarheid brengt, en in plaats daarvan via licentiemodellen en premium-gebieden differentiëren.

Belangrijk: Een robots.txt is geen rechtsgrond, maar een beleefdheidsmechanisme. Serieuze aanbieders houden zich eraan, minder serieuze niet. Wie inhoud rechtsgeldig wil beschermen, heeft aanvullende technische maatregelen nodig zoals IP-blokkades, rate limits en vooral duidelijke licentie- en gebruiksvoorwaarden. Toch blijft de robots.txt het belangrijkste declaratieve sturingsinstrument voor de KI-wereld. Het moet daarom nooit als een statisch bestand worden behandeld, maar regelmatig — we raden kwartaalgewijs aan — worden gecontroleerd en bijgewerkt. Nieuwe bots verschijnen, oude verdwijnen, en sommige aanbieders wijzigen hun User-Agent-aanduidingen stilletjes op de achtergrond.

Linkbuilding en robots.txt: een onderschat duo

Hier komt een aspect in het spel dat in de meeste robots.txt-discussies wordt overgeslagen: Een open robots.txt ontplooit zijn volle effect pas als uw domein ook van buitenaf wordt waargenomen. KI-crawlers volgen linksporen net als Googlebot. Een perfect geconfigureerde robots.txt op een domein zonder backlinks wordt zelden bezocht. Een open robots.txt op een domein met een sterk, thematisch relevant backlink-profiel daarentegen wordt een goudmijn — KI-crawlers komen vaak langs, indexeren actuele inhoud snel en citeren uw merk in de ontstane antwoorden.

Hieruit volgt een pragmatische volgorde: Eerst de robots.txt voor KI openen, dan het linkprofiel systematisch uitbreiden, dan de effecten via de Reference Rate meten. Wie beide hefbomen combineert, ziet binnen enkele maanden duidelijke verschuivingen in de KI-zichtbaarheid. Wie slechts één van de twee hefbomen gebruikt, verliest een groot deel van het potentieel. Een goed geconfigureerde robots.txt-vermelding kost u tien minuten werk, een systematisch gegroeid backlink-profiel is de investering van meerdere kwartalen — maar samen vormen ze de basis waarop merken in de komende jaren hun KI-zichtbaarheid zullen opbouwen.