Crawling en rendering: tekst versus presentatie
Een veelgemaakte aanname: “Als ik het zie in mijn browser, zien bots het ook wel.” Maar dat is een misverstand. Bots zien géén design, klikken niet op sliders en wachten niet tot scripts klaar zijn.
Ze lezen de ruwe, kale HTML zoals die wordt aangeleverd bij het eerste verzoek. Wat daarin ontbreekt (door JavaScript, uitgestelde content of visuele trucs) wordt genegeerd. En dat heeft grote gevolgen voor hoe AI jouw site indexeert én begrijpt.
Hoe ziet een bot jouw website?
- Googlebot haalt eerst de HTML op en voert vervolgens (indien nodig) JavaScript uit om de volledige pagina te renderen zoals een browser dat zou doen.
- AI-crawlers blijven bij stap één: ze verwerken alleen de oorspronkelijke HTML, zonder scripts, zonder rendering, zonder layout. Content die pas verschijnt na JavaScript-uitvoering is voor hen onzichtbaar.
Voor sites die veel vertrouwen op JavaScript (zoals met React, Next.js of sommige dynamisch geladen content in pagebuilders) is de kans groot dat AI-crawlers delen van je pagina dus gewoon overslaan!
| Eigenschap | Googlebot (klassiek) | AI-crawler (GPTBot, Perplexity) |
|---|---|---|
| Werkwijze | Rendered zoals browser | Alleen ruwe HTML wordt gelezen |
| JavaScript | Volledig uitgevoerd | Genegeerd |
| Sitemap | Actief gescand | Weinig aandacht voor |
| Robots.txt | Wordt gerespecteerd | Meestal gerespecteerd |
Regels versus begrip
Hoe jouw content wordt geïnterpreteerd verschilt ook wezenlijk. Het verschil zit in de nadruk en benadering:
- Googlebot combineert richtlijnen (zoals structured data) met inhoudsanalyse. Maar structured data blijft leidend voor specifieke zoekfeatures (zoals rich snippets).
- AI-crawlers starten niet vanuit regels of features, maar vanuit begrip. Ze lezen de pagina zoals een mens zou doen, met meer flexibiliteit. Ook als de structuur niet perfect is.
AI-crawlers interpreteren pagina’s inhoudelijk, herkennen verbanden en begrijpen ook niet-perfecte visuele opmaak. Hun kennis komt uit getrainde modellen, niet uit vooraf ingestelde regels. Daardoor kunnen ze verbanden leggen zoals “persoon + beroep + locatie” ook zonder expliciete markup.
Slim dus. Maar ook genadeloos voor slechte opbouw.
| Eigenschap | Googlebot | AI-crawler |
| Intelligentie | Richtlijngericht | Contextueel en kennisgedreven |
| Patroonherkenning | Bekende formats | Semantische verbanden |
| Structured data | Beperkt aantal types | Ondersteuning van >800 schema.org-types |
Semantiek boven presentatie
Visuele styling is voor AI irrelevant. Wat telt, is structuur en betekenis. Een website vol met <divs> zonder goede html opbouw is een grote puzzel voor AI. Een nette HTML-structuur is geen luxe meer, maar noodzaak. AI begrijpt geen pixels, maar leest tekst in context. En die context moet je als ontwikkelaar zélf aanleveren.
Denk aan semantische elementen zoals <section> of <article>. Zorg bovendien dat je heading-structuur (<h1> t/m <h6>) klopt. Dat helpt AI de pagina beter begrijpen.
Structured data als fundament
Voor AI-crawlers is structured data essentieel om betekenis te duiden. Structured data gebruik je vooral om dingen als personen, locaties, producten, diensten, artikelen, reviews en evenementen herkenbaar te maken voor systemen zoals Google en AI-bots.
- Google gebruikt het voor rich snippets (zoals sterren, prijzen, FAQ-uitklappers).
- AI-crawlers gebruiken het om verbanden te leggen tussen entiteiten en context. Zelfs buiten traditionele zoekmachines om.
Gebruik bij voorkeur JSON-LD direct in de HTML (dus niet via JavaScript). Combineer meerdere schema-types waar mogelijk, en beperk je niet tot Google’s lijstje. Denk aan types als PodcastEpisode, MedicalProcedure, Service, LocalBusiness, of FAQPage. Zeker voor dienstverleners, medisch professionals of contentmakers is dit hét moment om breed in te zetten op gestructureerde betekenis.
Wat betekent dit voor jouw website?
- Test of je site werkt zonder JavaScript (bijvoorbeeld via curl, Lynx of een JS-disabled browser)
- Structureer HTML bewust en semantisch, met duidelijke opbouw
- Voeg structured data toe via JSON-LD, niet via scripts of plug-ins die uitgesteld laden
- Schrijf contextuele content: niet alleen keyword-gericht, maar inhoudelijk helder en logisch opgebouwd
- Gebruik tools zoals Google Rich Results Test, Schema.org Validator of Sitebulb voor inzicht
Optimaliseren voor AI
AI-crawlers zijn geen randverschijnsel. Ze voeden AI-assistenten, generatieve zoekmachines (zoals Perplexity) en voice-interfaces. Denk aan antwoorden die ChatGPT geeft, of samenvattingen in Microsoft Copilot.
Vindbaarheid is niet langer beperkt tot zoekresultaten, maar verspreidt zich naar contextuele antwoorden, contentverwijzingen en AI-gegenereerde samenvattingen. Wie dáár niet zichtbaar is, wordt simpelweg niet genoemd.
Is het tijd voor paniek?
Nee. Maar het is wél tijd voor realisme. De regels veranderen. Websites die jarenlang vertrouwden op visuele flair, dikke plugins of drag-and-drop builders met weinig structuur… hebben iets in te halen.
Optimaliseren voor AI vraagt een andere bril: minder franje, meer fundament. Minder kunstgrepen, meer inhoud. Een AI-crawler leest geen sliders, scant geen scripts en snapt geen pixelperfecte templates zonder semantiek. Alleen als alles klopt (inhoud, structuur én techniek) wordt jouw site daadwerkelijk begrepen.
Het is dus niet alleen een kwestie van “iets verbeteren”, maar van ánders bouwen. Wie dat begrijpt, maakt websites die wérken. Ook in de toekomst.
Beter voor AI = beter voor mensen
De overgang van browserbots naar tekstbots betekent dat inhoud en structuur zwaarder wegen dan ooit. Websites die helder zijn opgebouwd, rijk zijn aan betekenis en technisch toegankelijk zijn, worden het best begrepen. Door AI én door mensen. Een krachtige kans voor wie nu al vooruitkijkt. Een risico voor wie blijft hangen in het verleden.