Wat te doen met robots.txt?

Het robots.txt bestand is bedoeld om de zoekmachine robot van diverse zoekmachines te sturen op je website. Bepaalde webpagina's zijn minder interessant voor bezoekers dan anderen. Het moge duidelijk zijn dat de minder interessante webpagina's niet geïndexeerd moeten worden, een website eigenaar wil op deze webpagina's zo min mogelijk bezoekers ontvangen. Dit omdat de pagina's doorgaans droge stof bevatten die niets te maken heeft met het doel van de gebruiker.

Het robots.txt bestand
In de inleiding van dit artikel werd al beschreven dat niet alle pagina's van een website geïndexeerd hoeven te worden. Dit omdat deze pagina's niet direct bijdragen aan het doel van de website of webwinkel.
Bijvoorbeeld de pagina's disclaimer en algemene voorwaarden, ze zijn erg belangrijk wanneer je als website eigenaar een geschil moet uitvechten. Deze pagina's moeten dus voor je bezoeker toegankelijk zijn.
Echter wil je als website eigenaar niet dat wanneer mensen zoeken op de naam van je website meteen op deze pagina's uitkomen. Om dit te voorkomen is het robots.txt een belangrijk element.
Door gebruik te maken van het robots.txt bestand kun je zoekmachinerobots sturen, iedere zoekmachine robot kun je eigen commando's meegeven. Echter komt dit in de praktijk bijna nooit voor, doorgaans zullen voor alle zoekmachinerobots dezelfde regels gelden. Er zijn 4 commando's die je kunt meegegeven aan een zoekmachine robot.

1. index, follow
Dit commando zegt tegen de zoekmachinerobot, neem de pagina op in je zoekresultaten en volg de links die op de webpagina vermeldt staan. Index, follow is de standaardinstelling ook al gebruik je geen robots.txt bestand dan is deze instelling geactiveerd.

2. no index, no follow
Wanner dit letterlijk vertaald wordt staat er 'niet indexeren en niet volgen'. Dit commando zegt dus tegen de zoekmachinerobot dat hij deze pagina niet hoeft te indexeren in zijn zoekresultaten en ook de aanwezige links niet hoeft te volgen.

3. no index, follow
Met deze instelling zal de zoekmachinerobot de pagina niet meenemen in zijn zoekresultaten, wel zal hij de pagina bezoeken en de links die hij tegenkomt volgen. Deze instelling kan bijvoorbeeld handig zijn wanneer je als website eigenaar besluit om bepaalde partners een link te geven, deze worden doorgaans gepresenteerd op één pagina, deze pagina heeft meestal de naam links of partners.
Deze pagina zal met de instelling no index, follow niet worden gepresenteerd tussen de zoekresultaten van je website maar de linkwaarde van de pagina wordt wel doorgegeven aan de gemelde url's.

4. index , nofollow
Dit is de laatste instelling voor het sturen van zoekmachinerobots, dit commando geeft aan dat de zoekmachinerobot wel de pagina mag indexen maar de vermelde links niet mag volgen.
Deze instelling komt vaak voor op pagina's waarop reviews achtergelaten kunnen worden, zo kunnen gebruikers wel via een zoekmachine terecht komen op de pagina echter wordt de linkwaarde van de pagina niet doorgegeven wanneer mensen in de reactie een url opnemen.