RankBird
llms.txt is een tekstbestand dat AI-crawlers naar de belangrijkste content van een webshop wijst. Het is een suggestie, geen instructie: een AI-crawler kan het bestand lezen, maar niets verplicht die crawler om het te volgen. De invloed van llms.txt op AI-crawlers zit in richting geven, niet in garanderen.
llms.txt: wat is dat precies?
llms.txt is een platte tekstfile in markdown-formaat, geplaatst op de root van een domein, dus op jouwdomein.nl/llms.txt. Daarin somt een webshop zijn belangrijkste pagina's, categorieën en context op, geschreven voor machines in plaats van bezoekers.
Waar een sitemap alleen URL's opsomt, geeft llms.txt betekenis mee. Een taalmodel als ChatGPT of Perplexity krijgt zo in een paar regels te lezen wat een webshop verkoopt, welke pagina's het belangrijkst zijn en hoe categorieën zich tot elkaar verhouden. Dat is sneller te verwerken dan ruwe HTML vol navigatie, footers en scripts die niets met de kernboodschap te maken hebben.
Het idee komt voort uit hoe large language models context verzamelen: ze werken beter met compacte, gestructureerde tekst dan met een volledige pagina-opmaak. llms.txt vervangt een website dus niet, maar vormt een aanvullende kaart specifiek geschreven voor AI-systemen. Voor een webshop met veel productcategorieën kan zo'n bestand de kern van het assortiment in één oogopslag samenvatten, zonder dat een crawler eerst door lagen navigatie moet graven.
Google-crawlers versus AI-crawlers: wat is het verschil?
Google-crawlers indexeren pagina's voor zoekresultaten. AI-crawlers halen content op om modellen te trainen of om direct een antwoord samen te stellen. Het ene proces eindigt in een ranglijst, het andere in een geformuleerd antwoord.
Google-crawlers zijn geautomatiseerde bots zoals Googlebot, die pagina's van een webshop ophalen en analyseren om ze op te nemen in de zoekresultaten. Dat proces heet indexering: Googlebot leest HTML, volgt interne links en beslist welke pagina's het waard zijn om te tonen bij een zoekopdracht. Alles draait om ranking binnen een lijst met blauwe links.
AI-crawlers werken met een ander doel. GPTBot, ClaudeBot en PerplexityBot halen content op om AI-modellen te trainen of om direct een antwoord samen te stellen voor een gebruiker die iets vraagt aan ChatGPT, Claude of Perplexity. Er verschijnt geen ranglijst, maar een geformuleerd antwoord, met of zonder bronvermelding. Google-Extended is een aparte variant die specifiek bepaalt of content gebruikt mag worden voor Gemini en AI Overviews, los van de gewone Google-indexering.
Dat verschil in gedrag maakt de invloed van llms.txt op AI-zoekmachines een andere vraag dan klassieke SEO. Een robots.txt-bestand kan crawlers toegang geven of weigeren, maar zegt niets over hoe een AI-model content daarna interpreteert. Beide typen crawlers lezen een webshop, maar de een indexeert voor zoekresultaten, de ander verzamelt materiaal voor een gegenereerd antwoord.
Welke invloed heeft llms.txt echt op AI-crawlers?
llms.txt stuurt, maar dwingt niet. Het bestand helpt een AI-crawler sneller kerncontent te vinden, mits die crawler al toegang heeft via robots.txt en de sitestructuur al klopt. Zonder die basis blijft llms.txt een wegwijzer naar niets.
GPTBot en vergelijkbare AI-crawlers bepalen zelf hun gedrag. Een llms.txt-bestand kan de weg wijzen, maar zonder toegang via robots.txt, zonder heldere sitestructuur en zonder schema-markup blijft die wegwijzer nutteloos. Een crawler moet een webshop eerst kunnen bezoeken en begrijpen voordat een gecureerde kaart iets toevoegt.
Dat maakt llms.txt een aanvulling, geen vervanging. Interne links bepalen nog altijd welke pagina's een crawler als belangrijk beoordeelt, en schema blijft de machineleesbare basis die betekenis geeft aan content. RankBird automatiseert die schema-laag en het interne linkgraaf juist omdat die fundamenten zwaarder wegen dan één los bestand.
Voor een webshop betekent dit: llms.txt instellen kan geen kwaad, maar los van sitestructuur en content levert het weinig op. Wie wil weten hoe een webshop er voor AI-crawlers en Google-crawlers samen voorstaat, vraagt de gratis quickscan aan.
Beslismatrix: wanneer is llms.txt de moeite waard?
llms.txt loont pas als catalogusdiepte en contentkwaliteit al op orde zijn, en als AI-crawlers de webshop überhaupt mogen bezoeken. De vraag is niet "moet ik llms.txt instellen", maar "staan de fundamenten eronder al goed".
Check eerst robots.txt. Staat GPTBot, ClaudeBot of PerplexityBot daar geblokkeerd, dan heeft een llms.txt-bestand geen enkele invloed op AI-crawlers: ze komen een webshop niet eens binnen. Dit is de eerste stap, vóór er aan een bestand gedacht wordt.
Bij een kleine catalogus met een paar tientallen producten en geen topical authority clusters levert llms.txt weinig op. Er is simpelweg te weinig gestructureerde content om te cureren. Bouw eerst clusters rond kernproducten, op Shopify of WordPress, voordat er een kaart komt van content die nog niet bestaat.
Bij diepgaande catalogi, uitgewerkte productpagina's en toegankelijke robots.txt is llms.txt een logische, kleine extra stap. Het kost weinig tijd en kan een AI-crawler helpen de belangrijkste pagina's sneller te vinden. Zie het als een wegwijzer bovenop een webshop die al staat, niet als vervanging voor een webshop die nog gebouwd moet worden.
Waarom quotable content zwaarder weegt dan één tekstbestand
AI-antwoorden citeren bronnen die duidelijk, gestructureerd en vindbaar zijn, niet bronnen die zichzelf aanmelden via een tekstbestand. Zonder content die een vraag daadwerkelijk beantwoordt, heeft llms.txt niets om naar te verwijzen.
Een taalmodel selecteert antwoorden op basis van context en autoriteit, niet op basis van welk bestand er op een domein staat. llms.txt wijst de weg naar de belangrijkste pagina's, maar de content daarachter moet de vraag van de gebruiker daadwerkelijk beantwoorden.
Dezelfde signalen die Google al jaren beloont, blijken ook te tellen bij AI-crawlers: heldere structuur, consistente vermeldingen elders op het web en content die specifiek antwoord geeft op een zoekvraag. Verdiende vermeldingen, denk aan een leverancier die naar een webshop linkt of een branchedirectory die een webshop opneemt, bouwen dezelfde autoriteit op die een AI-antwoord later citeert. Gekochte links verdwijnen. Vermeldingen die je verdient, blijven staan, ook in AI-antwoorden. Een los tekstbestand kan die autoriteit niet vervangen.
Wie wil weten of die inspanning ook werkt, moet het meten in plaats van hopen. RankBird volgt AI-zichtbaarheid over meerdere AI-engines en verzamelt dat in één composite score, zodat zichtbaar wordt of een webshop daadwerkelijk geciteerd wordt in AI-antwoorden. Vraag de gratis quickscan aan.
Veelgestelde vragen
Moet ik llms.txt toevoegen aan mijn Shopify- of WordPress-webshop?
Alleen als robots.txt AI-crawlers al toelaat en de catalogus al voldoende diepte en gestructureerde content heeft. Zonder die basis optimaliseert het bestand niets.
Volgen AI-crawlers zoals GPTBot mijn llms.txt automatisch?
Nee. GPTBot en vergelijkbare crawlers bepalen zelf hun gedrag. llms.txt is een voorstel dat een crawler kan lezen, maar niets dwingt een crawler om de inhoud te volgen.
Wat is het verschil tussen robots.txt en llms.txt?
Robots.txt regelt toegang: het geeft crawlers toestemming of weigert ze. llms.txt geeft context: het legt uit wat een webshop verkoopt en welke pagina's het belangrijkst zijn, ná toegang.
Wat zijn Google-crawlers precies?
Geautomatiseerde bots zoals Googlebot, die pagina's ophalen en analyseren om ze te indexeren voor de zoekresultaten. Dat is een ander proces dan wat AI-crawlers doen voor gegenereerde antwoorden.
Hoe weet ik of mijn webshop geciteerd wordt in AI-antwoorden?
Door AI-zichtbaarheid te meten over meerdere AI-engines heen. RankBird volgt dat wekelijks en vat het samen in één composite score, zodat citaties in AI-antwoorden zichtbaar worden in plaats van gegokt.
Je concurrent zet een los tekstbestand neer en wacht af. Jij bouwt de fundamenten die zowel Google als AI-antwoorden citeren: gestructureerde content, een sterk interne linkgraaf en schema die automatisch meegroeit. RankBird schrijft het concept, jij drukt op publiceren, en de composite score laat zien of het werkt. Vraag de gratis quickscan aan.