Crawlen, indexeren en ranken: hoe Google je site eigenlijk vindt
Je publiceert een pagina, wacht weken en ziet hem nergens in Google verschijnen. Herkenbaar? Het probleem zit bijna nooit bij de pagina zelf, maar bij een van de drie stappen die eraan voorafgaan: crawlen, indexeren, ranken. Drie begrippen die iedereen door elkaar gooit, maar die stuk voor stuk…
Team Qlimbr
Je publiceert een pagina, wacht weken en ziet hem nergens in Google verschijnen. Herkenbaar? Het probleem zit bijna nooit bij de pagina zelf, maar bij een van de drie stappen die eraan voorafgaan: crawlen, indexeren, ranken. Drie begrippen die iedereen door elkaar gooit, maar die stuk voor stuk een andere voorwaarde zijn. Mis je er één, dan staat je pagina nergens, hoe goed de inhoud ook is.
Wat is crawlen?
Crawlen is het moment waarop Googlebot je pagina ontdekt, bezoekt en de code ophaalt. Puur ophalen dus: geen beoordeling, geen opslag, alleen een bezoek.
Googlebot vindt nieuwe pagina's via drie routes: interne links, je XML-sitemap en externe links. Publiceer je bijvoorbeeld een nieuw blogartikel dat nergens vanuit je navigatie of andere pagina's gelinkt wordt, maar wel in je sitemap staat, dan vindt Googlebot hem via die sitemap. Staat een pagina nergens gelinkt en ook niet in je sitemap? Dan bestaat hij voor Google simpelweg niet.
Twee technische details die in 2026 veel vaker spelen dan ondernemers denken:
- Googlebot leest sinds begin 2026 alleen nog de eerste 2 MB van een HTML-bestand (voorheen 15 MB) en de eerste 64 MB van een PDF. Alles daarna telt niet mee voor indexering.
- Crawl budget bestaat uit twee aparte onderdelen: de crawl capacity limit (hoeveel Google kan ophalen zonder je server te belasten) en crawl demand (hoeveel Google wíl ophalen, gebaseerd op populariteit en hoe vaak een pagina verandert). Die capaciteit wordt bovendien gedeeld tussen alle Google-crawlers op je domein, van de reguliere zoekcrawler tot de beeld- en videocrawler.
Een veelgemaakte fout: denken dat een noindex-tag crawl budget bespaart. Dat klopt niet. Google geeft expliciet aan dat noindex meta tags geen crawl budget besparen, omdat Googlebot de pagina alsnog moet ophalen en lezen om de noindex-instructie te detecteren. Wil je echt crawl budget vrijmaken, gebruik dan robots.txt disallow-regels of de juiste HTTP-statuscodes.
Wat is indexeren?
Indexeren is de stap daarna: Google analyseert wat het heeft gecrawld en beslist of de pagina het waard is om op te slaan in de zoekindex. Niet alles wat gecrawld wordt, wordt dus ook geïndexeerd: crawlen is een voorwaarde, geen garantie.
Hoe lang dat duurt, is sinds kort concreter bekend. Gary Illyes van Google liet in oktober 2026 interne cijfers zien: Google ontdekt een nieuwe URL meestal na ongeveer 20 uur. Indexeren zelf duurt ongeveer 1,5 uur, in het traagste geval maanden of nooit vanwege kwaliteitsredenen.
Belangrijk om scherp te zijn in 2026: Google is selectiever geworden in wat het daadwerkelijk opneemt. Vroeger crawlde Google de meeste pagina's op de meeste sites en indexeerde het de meerderheid van wat het vond. In 2026 is dat omgedraaid: Google crawlt agressief, maar indexeert selectief. De aangescherpte handhaving tegen geschaalde, generieke content sinds maart 2026 speelt daar direct in mee.
Wil je indexering versnellen? De Indexing API is daarvoor bedoeld, maar is door Google expliciet beperkt tot pagina's met `JobPosting`- of `BroadcastEvent`-structured data: vacatures en livestreams dus, niet je reguliere blogartikel of productpagina. Google wijzigde de documentatie op 16 oktober 2026, maar de quotapagina vermeldt nog steeds een standaard van 200 publicatieverzoeken per dag per project. Voor gewone contentpagina's is een goede sitemap, sterke interne links en zo nodig handmatig "Indexering aanvragen" via de URL-inspectietool in Search Console de realistische route, niet de API. Een geaccepteerd API-verzoek is bovendien geen garantie voor indexering, alleen een signaal dat Google de pagina opnieuw gaat bekijken.
Wat is ranken?
Ranken is de laatste en meest complexe stap: Google bepaalt op welke positie een geïndexeerde pagina verschijnt bij een specifieke zoekopdracht. De volgorde ligt vast: eerst crawlen, dan pas indexeren, dan pas ranken.
Hier tellen factoren als relevantie, E-E-A-T, technische prestaties en unieke waarde. Relevantie betekent concreet dat Google eerst de zoekintentie matcht: een zoekopdracht als "wat is crawlen" wil uitleg, terwijl "SEO bureau inhuren" een commerciële pagina verwacht. Staat je geïndexeerde uitlegartikel op positie 40 voor een zoekterm met duidelijk commerciële intentie, dan is dat vaak geen technisch probleem maar een mismatch tussen je contentvorm en wat de zoeker daadwerkelijk zoekt. Herkenbaar voorbeeld: een pagina staat keurig in de index, maar scoort in het Prestaties-rapport van Search Console wel vertoningen op relevante zoektermen zonder dat er kliks binnenkomen, met een gemiddelde positie ver buiten de eerste pagina. Dat is het signaal dat je niet met een crawl- of indexprobleem zit, maar met een rankingprobleem: concurrenten sluiten simpelweg beter aan op de zoekintentie. Meer over hoe die zoekresultaten precies zijn opgebouwd, lees je in wat is een SERP, uitgelegd.
De drie stappen naast elkaar
| Fase | Wat gebeurt er | Meest voorkomende blokkade |
|---|---|---|
| Crawlen | Googlebot ontdekt en haalt de pagina op | Geen interne links, ontbrekende sitemap, robots.txt disallow |
| Indexeren | Google analyseert en slaat de pagina op in de index | Dunne of generieke content, duplicate content, noindex-tag |
| Ranken | Google bepaalt de positie bij een zoekopdracht | Zwakke relevantie, weinig autoriteit, sterke concurrentie |
Zo versnel je het hele proces
Staat een pagina nergens, check eerst in welke fase het misgaat via de URL-inspectietool in Search Console. De status die daar getoond wordt, vertelt je direct of je een crawl- of een indexprobleem hebt:
| Status in Search Console | Wat het betekent | Wat je doet |
|---|---|---|
| Ontdekt – momenteel niet geïndexeerd | Google kent de URL, maar heeft nog niet gecrawld (vaak crawl budget of lage prioriteit) | Versterk interne links naar de pagina en check of de sitemap klopt |
| Gecrawld – momenteel niet geïndexeerd | Google heeft de pagina bezocht, maar besloten hem niet op te nemen (vaak kwaliteit) | Verbeter of voeg de pagina samen met gerelateerde content, vermijd dunne inhoud |
| Pagina met omleiding / door robots.txt geblokkeerd | Technische blokkade voorkomt crawlen of indexeren | Controleer robots.txt en redirectketens |
Een gezonde crawl- en indexeringsstatus bouw je daarnaast op met een paar concrete acties:
- Houd een actuele XML-sitemap bij en dien die in via Google Search Console.
- Link intern naar nieuwe pagina's vanaf relevante, al goed geïndexeerde pagina's.
- Voeg dunne of overlappende pagina's samen tot één sterkere pagina, of zet pagina's die echt niet meer bestaan op een 410-statuscode in plaats van ze te laten verouderen.
- Ondersteun 304 Not Modified-responses, zodat Google ongewijzigde pagina's niet onnodig opnieuw hoeft te verwerken.
- Monitor het rapport Pagina-indexering in Search Console wekelijks, niet pas als het misgaat.
Precies hier zit het knelpunt voor veel MKB-bedrijven: Search Console-data uitlezen kost tijd en zonder die data blijf je gissen naar waarom een pagina niet oppakt. Qlimbr koppelt automatisch met Search Console en GA4, blijft 24/7 synchroniseren en vertaalt crawl- en indexeringsstatus direct naar een concreet contentadvies. Geen losse exports, geen handmatig spitwerk. Hoe die koppeling werkt, lees je in Search Console data naar contentbeslissingen.
Veelgestelde vragen
Kan een pagina gecrawld zijn maar niet geïndexeerd? Ja, dat is zelfs de norm geworden in 2026. Google crawlt breed, maar indexeert selectief op basis van kwaliteit en uniekheid van de inhoud.
Hoe lang duurt het voordat een nieuwe pagina in Google staat? Volgens Google's eigen cijfers duurt ontdekking gemiddeld 20 uur en indexering daarna nog eens anderhalf uur, al kan dit in lastige gevallen maanden duren of nooit gebeuren.
Bespaart een noindex-tag crawl budget? Nee. Googlebot moet de pagina alsnog ophalen om de noindex-instructie te lezen. Alleen robots.txt disallow of de juiste HTTP-statuscode voorkomt dat crawl budget wordt besteed.
Garandeert indexering een goede positie? Nee. Indexering is een voorwaarde om mee te mogen doen, geen garantie voor een goede ranking. Ranken hangt af van relevantie, autoriteit en concurrentie op dat specifieke zoekwoord.
Grip op je hele SEO-fundament
Crawlen, indexeren en ranken zijn geen losse technische details, het is de volgorde waarin je hele SEO-strategie staat of valt. Wil je weten hoe jouw site er in deze drie fasen voor staat en waar precies de winst zit? Plan een vrijblijvend gesprek en bekijk wat Qlimbr's koppeling met Search Console en GA4 direct zichtbaar maakt.