Wat is het crawl budget?
Google bezoekt elke dag (een deel van) je website om nieuwe pagina’s te ontdekken of veranderingen op je website in kaart te brengen. Het aantal pagina’s dat Google bezoekt op een willekeurige dag is het crawl budget. Dat aantal verschilt van dag tot dag, maar is over het algemeen vrij stabiel. De hoogte van het crawl budget van je website is onder andere afhankelijk van de grootte van je website, het aantal inkomende backlinks en de snelheid van je website.
Wanneer is het crawl budget relevant?
Over het algemeen hoef je je als marketeer geen zorgen te maken over je crawl budget. Vaak worden je pagina’s vlot geïndexeerd. Zeker bij kleinere websites, is het optimaliseren van je crawl budget vaak niet nodig. Maar wanneer het lang duurt voordat je pagina’s geïndexeerd worden, kun je de oplossing vaak vinden in het optimaliseren van je crawl budget. Stel: je hebt een website met 20.000 pagina’s en Google bezoekt dagelijks gemiddeld maar 150 pagina’s. Dan kan het lang duren voordat je nieuwe pagina’s gecrawld en geïndexeerd worden. Zonde natuurlijk van al je SEO inspanningen.
In Google Search Console kun je eenvoudig de crawlstatistieken van jouw website bekijken. Via Instellingen > Crawlstatistieken kun je zien hoeveel pagina’s Google (per dag) in de afgelopen 90 dagen op jouw website heeft bezocht. Deel het totaal aantal crawlverzoeken door het aantal dagen en je hebt een beeld van de hoogte van jouw crawl budget per dag. Vergelijk dit aantal met het aantal pagina’s op je website om een inschatting te maken of jouw crawl budget hoog genoeg is of dat het nodig is om het crawl budget te optimaliseren.
Verhoog je crawl budget
Laten we eens kijken hoe je het crawl budget van je website kunt verhogen. Ik zet een aantal best practices voor je op een rij:
1. Blokkeer delen van je website voor Google
Eén van de stappen die je kunt ondernemen is het blokkeren van bepaalde delen van je website voor Google. Dit kun je aangeven in het robots.txt bestand van je website. Dit bestandje geeft instructies aan Google (en andere bots) hoe ze je website moeten crawlen. Blokkeer bijvoorbeeld login pagina’s, de checkout van je webshop en / of de zoekresultaten pagina binnen je site. Deze pagina’s hebben namelijk geen SEO waarde, dus is het prima wanneer Google deze delen van je website niet bezoekt.
2. Voorkom errors op je website
Kapotte links op je website en 404 pagina’s gaan ten koste van je crawl budget en wil je dus zoveel mogelijk voorkomen. Daarnaast gaan niet-werkende links natuurlijk ook ten koste van je gebruikerservaring. Zorg er dus voor dat alle links op je website werken en verwijs oude URL’s door via een redirect.
3. Voorkom redirect-chains
Het gebruik van redirects kun je nooit helemaal voorkomen. Na aanpassingen in je URL-structuur of bij een website migratie zijn redirects essentieel. Toch is het belangrijk om redirect-chains (meerdere redirects achter elkaar) te voorkomen. Zo’n ‘ketting van redirects’ zorgt niet alleen voor een traag ladende pagina, maar na meerdere achtereenvolgende redirects stopt Google ook met crawlen, zonder naar de pagina te gaan die je geïndexeerd wil hebben. Hieronder zie je een praktisch voorbeeld van een URL waarbij de redirect wordt opgevolgd door meerdere redirects. Wil je weten of jouw website hier ook mee te maken heeft? Met de browser extensie Redirect Path, zie je direct het redirectpad van een URL.
4. Verbeter de snelheid
Het crawlen van je website kost Google resources en rekenkracht. Als je ervoor zorgt dat je pagina’s snel laden, kan Google binnen dezelfde tijd meer pagina’s crawlen. Het verbeteren van je snelheid kan op verschillende manieren. Comprimeer bijvoorbeeld je afbeeldingen, maak gebruik van caching of switch van shared-hosting naar een dedicated server.
Dat het effect van snelheid groot is, zag ik onlangs ook bij één van onze klanten. Nadat de gemiddelde laadtijd fors omlaag ging (rode lijn) zagen we het aantal crawlverzoeken van Google ruimschoots verdubbelen (blauwe lijn). Van gemiddeld 160 crawlverzoeken per dag, naar zo’n 300 tot soms wel 500 verzoeken per dag. Een enorme vooruitgang, waardoor de nieuwe content en landingspagina’s van deze klant véél sneller geïndexeerd worden.
5. Vergroot je autoriteit door linkbuilding
Google heeft in het verleden al eens aangegeven dat het verhogen van je autoriteit een positieve impact heeft op je crawl budget. Je autoriteit kun je voornamelijk beïnvloeden door linkbuilding: het verkrijgen van meer links van externe websites. Ook op die manier kun je dus je crawl budget verhogen en ervoor zorgen dat je pagina’s sneller gecrawld en geïndexeerd worden.
Met bovenstaande tips hoop ik dat je begrijpt wat het belang is van je crawl budget voor SEO en hoe je het crawl budget kunt vergroten. Bovendien zijn deze tips niet alleen handig voor SEO, maar zorgen de verbeteringen ook nog eens voor een betere gebruikerservaring. Win-win dus! Heb je vragen over het optimaliseren van je crawl budget of het verbeteren van je vindbaarheid in Google? Neem vrijblijvend contact op met één van onze specialisten.
