
AI-training weigeren met één regel in robots.txt
Sinds 30 oktober steunen Google, OpenAI, Microsoft en Anthropic één gedeelde regel in robots.txt waarmee je AI-training op je site weigert. Wat die regel doet, wanneer hij werkt, en waarom je hem voor een webshop niet zomaar aanzet.
Eén regel in plaats van een lijst bots
Wie nu AI-training wil weigeren, houdt in robots.txt een lijst bij: GPTBot voor OpenAI, Google-Extended voor Google, ClaudeBot voor Anthropic, en elke nieuwe bot erbij. Op 30 oktober kondigden Google, OpenAI en Microsoft aan dat ze één gedeelde regel gaan volgen. Het voorstel komt van Anthropic en ligt bij de AI Preferences-werkgroep van de IETF, de organisatie achter de standaarden van het internet.
De regel heet __usage_ai-training. Het is geen bot, maar een afspraak. Zet je die groep in je robots.txt, dan geef je in één keer aan of je content gebruikt mag worden om generatieve AI-modellen te trainen. Het is nog een voorstel. Een officiële standaard wordt het pas als de werkgroep het aanneemt.
Zo ziet de regel eruit
Je zet de regel als een gewone groep in robots.txt, met de Disallow- en Allow-regels die je al kent. De langste overeenkomst wint, net als bij zoekmachines. Dit voorbeeld weigert training op de hele site, behalve op de productpagina's:
# Alleen een voorkeur over training: crawlen en zoeken blijven zoals ze waren
User-agent: __usage_ai-training
Disallow: /
Allow: /products/Wat de regel niet doet
- Het is geen crawlverbod. Bots mogen je pagina's nog steeds ophalen. De regel zegt alleen wat er daarna met je content mag.
User-agent: *telt niet mee. Een algemene Disallow in je bestaande robots.txt geldt niet als nee tegen training. Je moet de groep zelf noemen.- Geen regel is geen voorkeur. Staat de groep er niet, dan heb je niets gezegd. Microsoft leest dat als toestemming.
- Het werkt vooruit, en het is vrijwillig. Wat al in een model zit, haal je er niet mee uit. En een bot van een partij die niet meedoet, negeert de regel gewoon.
Wanneer het werkt
Nu nog nergens. Wel hebben de partijen een planning genoemd:
- Microsoft: 1 februari 2027. Vanaf dan leest Bing de regel zodra het je site opnieuw crawlt.
- Google: begin 2027. Een precieze datum noemt Google niet.
- OpenAI: in de komende maanden. OpenAI belooft een update zodra het zover is.
- Anthropic: nog geen datum. Anthropic schreef het voorstel, maar een datum voor de invoering vonden we niet.
Google en OpenAI zeggen dat hun eigen regels per bot blijven werken. Bij Microsoft is het andersom: de oude tags NoArchive en NoCache tellen na 1 maart 2027 niet meer mee voor training en AI-antwoorden.
Training is niet hetzelfde als gevonden worden
Voor SEO is dit het belangrijkste deel. Training betekent dat je content wordt gebruikt om een model te bouwen. Dat staat los van zoeken, en los van AI-antwoorden die je pagina op het moment zelf als bron gebruiken. Maar niet elke partij trekt die grens op dezelfde plek.
- Google koppelt training aan Gemini. Zeg je nee met de nieuwe regel en noem je Google-Extended niet zelf, dan leest Google dat als een nee tegen Google-Extended. Die regel gaat over twee dingen: Gemini trainen, en je pagina's als bron gebruiken in de Gemini-apps. Je verdwijnt dus ook daar als bron. Google Search merkt er niets van: Google-Extended telt niet mee voor opname of ranking.
- Microsoft houdt ze uit elkaar. Training weiger je via robots.txt of per pagina. Of Copilot en de AI-antwoorden in Bing je pagina als bron mogen gebruiken, stel je apart per pagina in. Je plek in de gewone zoekresultaten van Bing verandert niet.
- OpenAI noemt alleen training. De regel gaat bij OpenAI over het trainen van basismodellen. Over zoeken in ChatGPT zegt de aankondiging niets.
Wil je bij Google wel als bron in Gemini blijven, dan moet je Google-Extended zelf toestaan. Dan mag Google ook trainen. Bij Google is dat nog steeds één knop.
En als je op Shopify zit?
Shopify maakt je robots.txt zelf aan. Een eigen groep toevoegen doe je in het thema: maak in de map Templates een bestand robots.txt.liquid. Dat vervangt het bestand van Shopify helemaal. Begin daarom met Shopify's eigen voorbeeld, dat de standaardregels uit robots.default_groups overneemt, en zet je groep daaronder. Bewaar eerst een kopie van je huidige /robots.txt en vergelijk die met het resultaat. Dat raadt Shopify zelf aan, want het sjabloon geeft niet altijd precies hetzelfde bestand.
# Onder Shopify's standaardgroepen: de blogs gaan niet naar AI-training
User-agent: __usage_ai-training
Disallow: /blogs/Wat dit voor jou betekent
Voor de meeste webshops is de vraag niet of AI je ziet, maar welke content je weggeeft.
- Productpagina's laat je staan. Die zijn er om gevonden te worden, ook door AI. Weigeren levert je daar weinig op.
- Content die zelf het product is, sluit je per map uit. Een uitgebreide gids, eigen recepten, onderzoek of een cursus. Daar kan training je iets kosten: een antwoord dat je werk navertelt zonder dat iemand je site bezoekt.
- Gebruik je NoArchive of NoCache? Bing leest die vanaf 1 maart 2027 niet meer als voorkeur. Wil je dezelfde keuze houden, zet dan vóór die datum de nieuwe regels.
- Geen haast, wel een keuze. Er werkt nu nog niets. Microsoft begint op 1 februari 2027, dus kies vóór die tijd.
Op brandbrand.nl staat de regel er niet in. Onze artikelen zijn er om gelezen te worden, ook door AI.
Ons standpunt
Een webshop wil gevonden worden, ook door AI: wij sluiten training alleen uit voor content die zelf het product is.Mels, SEO Specialist bij Brandbrand



