Crawlen

Gepubliceerd op: 15 juli 2020 0 min lezen Matthijs Beumer

Wat is crawlen?

Crawlen is het doorzoeken van webpagina’s door middel van speciaal software (bots en/of spiders) van zoekmachines. Door een website te crawlen kan een zoekmachine bepalen waar de webpagina’s over gaan en deze indexeren. Crawlen is een belangrijk onderdeel van SEO (zoekmachine optimalisatie).

Wat is het crawlbudget?

Zoekmachines hanteren voor elke website een crawlbudget. Dit is het aantal pagina’s dat per dag gecrawld wordt. Het crawlbudget kan verloren gaan door technische fouten of een slechte websitestructuur.

Hoe verbeter je het crawlen?

Als een website niet goed gecrawld kan worden, dan heeft dit nadelige gevolgen voor de vindbaarheid. Je kunt je website “crawl-vriendelijk” maken door rekening te houden met onderstaande punten: