Inhoudsopgave
Googlebot is een robot waarmee u het web van Google, staat ook wel bekend als de Google-spider. Op deze manier ontdekt het systeem de nieuwe pagina's die zijn geïndexeerd in zijn database waar ze worden bijgewerkt en wordt het weer opgenomen in de Google-index.Google gebruikt een grote hoeveelheid computerapparatuur om miljarden pagina's te crawlen die op het web worden verspreid. Het is gebaseerd op een algoritmisch volgproces, waarbij computerprogramma's bepalen welke sites moeten worden gevolgd, evenals de frequentie en het aantal pagina's dat op elke site moet worden doorzocht. Het proces begint met een lijst met eerder gegenereerde webpagina's, die wordt uitgebreid op basis van de gegevens die worden geleverd door de sitemaps die de webmasters opnemen. Googlebot detecteert de links bij elk bezoek aan die websites en voegt ze toe aan de lijst met pagina's die moeten worden gecrawld. Het systeem detecteert nieuwe sites, wijzigingen aan bestaande sites en links die verouderd zijn, en werkt vervolgens de Google-index bij.
Hoe Googlebot toegang krijgt tot de site
Googlebot u bezoekt sites meestal niet meer dan één keer en voor een paar seconden. Over het algemeen downloadt het systeem slechts één exemplaar van elke pagina. Als u dezelfde pagina meerdere keren downloadt, is dit waarschijnlijk te wijten aan het stoppen en opnieuw starten van de crawler.Googlebot wordt op verschillende computers gedistribueerd, en sommige spiders worden uitgevoerd vanaf computers die zich in de buurt van de sites bevinden die ze indexeren. Het kan zijn dat de paginalogs bezoeken van meerdere computers weergeven als user-agent.
Het doel is om bij elk bezoek dat u maakt het grootste aantal pagina's op een website te crawlen zonder de bandbreedte van de server in te storten.
Het systeem vindt sites via de links op hun pagina's. In het geval van trackingfouten zijn deze te zien in de Webmasterhulpprogramma's van Google. Het geeft een overzicht van de problemen die zich voordoen bij het crawlen van een site. Het is een goed idee om regelmatig eventuele crawlfouten te controleren om ze te identificeren en op te lossen.
Aangezien de IP-adressen die door de Googlebot worden verwerkt de neiging hebben om van tijd tot tijd te variëren, is het ideaal om de robot "user-agent" (Googlebot) te gebruiken. De Google-spider zal de richtlijnen in het robots.txt-bestand respecteren, maar kwaadwillende gebruikers mogen deze niet volgen.
