Crawlen betekent ‘kruipen’. Het is een verwijzing naar webcrawlers, ook wel spiders of bots genoemd, die websites indexeren voor opname in zoekmachines zoals Google en Bing. Zo kan een zoekopdracht gekoppeld worden aan webpagina’s die hier betrekking op hebben. Hoe werkt crawlen en heb je als webmaster invloed op webcrawlers?
Het internet wordt ook wel World Wide Web genoemd. Dit is een term die afkomstig is van Tim Berners-Lee, de grondlegger van het internet zoals we dit nu gebruiken. Er waren meerdere opties voor de benaming, uiteindelijk werd WWW genoemd naar de wijze waarop data in een grafiek kan worden weergegeven. Het was geen directe verwijzing naar spinnen, het is wel een aansprekend idee dat is blijven hangen.
Webpagina’s zijn aan elkaar gekoppeld via hyperlinks, een webcrawler is een stukje code dat deze koppelingen volgt en informatie over de pagina’s opslaat. Dit wordt crawlen genoemd. Andere namen voor webcrawler zijn spider of bot. Ze werken autonoom, verzamelen data en koppelen deze terug naar het zoekalgoritme.
Een spider indexeert webpagina’s die openbaar toegankelijk zijn. Dit betekent dat iedereen met de URL dezelfde pagina’s zou kunnen openen. Als de spider bijvoorbeeld een betaalmuur of login tegenkomt dan worden achterliggende pagina’s niet geïndexeerd. In het begin van het internet werd de meeste informatie gehaald uit de metadata, tegenwoordig zijn computersystemen krachtig genoeg om de volledige pagina te indexeren om zo meer relevante zoekresultaten weer te kunnen geven.
Voorheen was metadata de voornaamste manier om crawlers van informatie te voorzien. Zoekalgoritmen zijn in de loop der jaren steeds beter geworden en kunnen nu zelfstandig pagina’s scannen op relevante informatie. Keywords in de metadata zijn daarmee niet meer van belang, op de pagina zelf wel. Belangrijke meetpunten zijn de snelheid van laden, het gebruik van relevante woorden en termen, gebruik van afbeeldingen of video, het aantal bezoekers en de tijd die ze besteden op een pagina. Met SEO is het mogelijk om webcrawlers te beïnvloeden, misleiden is echter een stuk lastiger geworden.
