Wat is de betekenis van crawlen? Het is het proces waarbij zoekmachine-robots, ook wel ‘crawlers’ of ‘spiders’ genoemd, pagina’s op het internet verkennen. Ze volgen links van de ene website naar de andere en verzamelen zo informatie over de pagina’s die ze tegenkomen. Als ze een pagina crawlen die past bij een bepaald zoekwoord dan wordt deze pagina geïndexeerd.
Crawlers laten ook virtuele voetafdrukken achter op de websites die ze bezoeken. Deze virtuele voetafdrukken worden geanalyseerd en toegevoegd aan de immense bibliotheek van de Google, ook wel bekend als de ‘index’.
Stel je de index voor als een gigantische, digitale boekenplank met miljarden boeken. Elk boek is eigenlijk een beschrijving van een webpagina. En hoe beter een website wordt gecrawld, hoe groter de kans dat het ‘boek’ van die site op de plank van de index belandt. Als je vaak gecrawld wordt, geeft Google of een andere zoekmachine je dus vaker de kans om geïndexeerd te worden.
Hoe werkt crawlen?
Dus, hoe gaat dat crawlen nu eigenlijk in zijn werk? Wel, stel je voor dat je een reusachtige spin bent – niet eng, maar gewoon een vriendelijke spin die op ontdekkingstocht gaat. Je begint bij één website, laten we zeggen dat het een foodblog is.
Op die website zie je een link naar een ander blogbericht over ’s werelds grootste hamburgers. Je volgt de link, en nu ben je op die hamburgerpagina. Je ziet weer interne of externe links naar andere pagina’s, zoals een pagina over veganistische recepten en weer een andere pagina over de geschiedenis van fastfood. Voordat je het weet, heb je als webspider of crawler een heleboel verschillende pagina’s bezocht en hun informatie verzameld.
Ze beginnen dus op een website, volgen externe en interne links, halen informatie op, en herhalen dit proces keer op keer. Ze doen dit om het meest actuele en relevante overzicht van het web te bieden aan de zoekmachines.
Als een website gecrawld is kan bepaald worden of deze pagina geïndexeerd wordt en op welke zoekwoorden deze pagina geïndexeerd zal worden. Deze keywords komen uiteindelijk terecht in de SERP van een zoekmachine.
Hoog komen in Google begint dus allemaal bij het crawlen van je website. Als je website niet gecrawld word, weet Google ook niet van het bestaan van je website af.
Hoe word je snel opgepikt door Google?
Zorg er allereerst voor dat je website goed gestructureerd is. Net zoals een kaart met heldere aanwijzingen is voor reizigers, is een gestructureerde website makkelijker te begrijpen voor crawlers.
Gebruik een duidelijke linkstructuur van interne links om ze door je site te leiden. Als je wilt dat de crawler je nieuwste blogpost vindt, plaats dan een link op je homepage, zodat de crawler er niet per ongeluk voorbij kan glippen.
Daarnaast houden crawlers van nieuwe, relevante en up-to-date content. Voeg regelmatig nieuwe en relevante informatie en content toe aan je website om hun de crawlers hun interesse te blijven wekken. Dit kan zijn in de vorm van blogposts, productupdates of door nieuwsartikelen.
Als een blogpost, maar niet geïndexeerd wordt in Google, maar wel wordt gecrawld door Google dan kun je ervoor kiezen om je content te verbeteren tot het moment dat je pagina wel geïndexeerd wordt in een zoekmachine.
Inzien hoe vaak je website wordt gecrawld
Je kunt de aanwezigheid van crawlers op je website zien met behulp van tools zoals Google Search Console. Deze handige tool vertelt je welke pagina’s van je website zijn gecrawld en hoe vaak.
Hoe kun je zien hoe vaak je website gecrawld is? Ga naar: Google Search Console > Instellingen > Crawlstatistieken > Rapport openen
Wat is crawl budget?
Als het gaat om crawlen is het crawl budget een belangrijk begrip om te kennen.
Omdat er miljarden websites bestaan, gaat Google niet onbeperkt websites crawlen. Hoe vaak is website wordt gecrawld heeft te maken met het crawl budget dat je hebt. Je moet ervoor zorgen dat je website zo aantrekkelijk mogelijk is voor crawlers in Google.
Zorg dus voor een goede website met een duidelijke structuur en goede content. Als je dit hebt dan zal de crawlers van Google een stuk vaker jouw website bekijken dan de website van je concurrent met een slechte website, zonder een goede structuur en content van lage kwaliteit.
