Gratis adviesgesprek
Voorkom fouten in je nieuwe website en ontdek welke omzet je nu laat liggen.

Reactie binnen 1 werkdag
Analyse van jouw huidige website
Gratis advies van een echte specialist

Robots.txt is een standaard die op websites gebruikt wordt om webcrawlers en bots informatie te geven over pagina’s op het domein die niet geïndexeerd mogen worden. Andere benamingen voor dit bestand zijn Robots Exclusion Standard en Robots Exclusion Protocol. Wat is Robots.txt en hoe wordt dit bestand gebruikt door crawlers?

Wat is Robots.txt?

De oorsprong van dit bestand stamt uit 1994, toen Nederlander Martijn Koster met het idee kwam nadat een slecht functionerende web crawler voor DOS aanvallen zorgde. De Robots txt sitemap werd al snel overgenomen en groeide uit tot een wereldwijde standaard. Destijds populaire zoekmachines WebCrawler, Lycos en AltaVista namen deze standaard over en zouden pagina’s die uitgesloten waren niet indexeren. Het bestand wordt in de root van het domein geplaatst met instructies voor een geautomatiseerde webcrawler. Deze bots zullen als eerste dit bestand lezen alvorens de onderliggende pagina’s te indexeren. Wanneer een dergelijk bestand niet aanwezig is zal de gehele website gescand worden. Het bestand is specifiek van toepassing op een domein, bij aanwezigheid van meerdere subdomeinen zal voor ieder subdomein een losse Robots.txt geplaatst moeten worden.

Waarom pagina’s uitsluiten?

Er zijn diverse redenen om pagina’s niet zichtbaar te maken voor zoekmachines. Specifieke pagina’s die niet bestemd zijn voor een groot publiek bijvoorbeeld, of om de server niet onnodig te belasten. Het kan ook strategisch voordeel bieden bij website optimalisatie door pagina’s op een domein niet met elkaar te laten concurreren. Het is overigens mogelijk dat deze pagina’s via koppelingen op andere pagina’s wel zichtbaar worden. Standaard volgt een crawler alle pagina’s die openbaar beschikbaar zijn, en stopt bij registratie pagina’s of pagina’s die zonder login niet bezocht kunnen worden. Robots.txt bij WordPress behoort tot de standaard indeling, dit bestand kan niet worden aangepast. Het is wel mogelijk of zelf een nieuw bestand toe te voegen aan het domein dat naar eigen voorkeur aangepast kan worden.

Enkele van onze klanten

Al onze begrippen

a b c d e f g h i j k l m n o p q r s t u v w x y z

x