Het robots.txt bestand is bedoeld om de zoekmachine robot van diverse zoekmachines te sturen op je website. Bepaalde webpagina's zijn minder interessant voor bezoekers dan anderen. Het moge duidelijk zijn dat de minder interessante webpagina's niet geïndexeerd moeten worden, een website eigenaar wil op deze webpagina's zo min mogelijk bezoekers ontvangen. Dit omdat de pagina's doorgaans droge stof bevatten die niets te maken heeft met het doel van de gebruiker.
