De Googlerobot is net een mens

Zoals je wellicht weet wil Google enkel websites weergeven die van toegevoegde waarde zijn. Websites moeten informatie tonen waar de bezoeker iets mee kan, daarnaast moet de website gebruiksvriendelijk zijn. Om dit te kunnen beoordelen moet de Googlerobot de website kunnen beoordelen zoals je deze als een mens (bezoeker) ook ziet. Voorheen beoordeelde de Googlebot een website enkel op basis van HTML, hierin worden enkel de zichtbare elementen zoals teksten en afbeeldingen in opgenomen (ook wel content genoemd). De opmaak (CSS) en de manier van weergave (Javascript) waren hierbij irrelevant. Op 27 oktober 2014 heeft Google aangekondigd naast de HTML ook en de Javascript de CSS bestanden te beoordelen, zodat het aanbod nog beter kan worden afgestemd op de eindgebruiker.

Bestanden laten indexeren

Een website is zo opgebouwd dat in de HTML een verwijzing staat naar een ander bestand, dat kunnen de opmaakbestanden zijn (CSS) of bijvoorbeeld Javascript bestanden, deze zorgen voor de interactiviteit op de website. Als de website netjes is ingedeeld hebben CSS bestanden en Javascriptbestanden een aparte map (of zijn deze met elkaar samengevoegd). Deze map moet voor de zoekmachinerobot toegankelijk zijn om deze te kunnen indexeren, dat wordt via het robots.txt bestand geregeld.

Robots.txt bestand en zoekmachinerobot

Wat is robots.txt?

Het robots.txt bestand is een tekstbestand dat bij ieder bezoek van de zoekmachinerobot wordt opgehaald. Het robots.txt bestand is het eerste bestand dat een zoekmachinerobot leest voordat hij de rest van een website gaat doorlichten - in vaktermen 'crawlen'. Met het robots.txt worden commando's gegeven aan de zoekmachine, anders gezegd wat mag deze wel zien en opnemen in de index en welke bestanden moeten afgeschermd blijven. Je kunt zelf ook het robots.txt inzien op een website, dit kun je doen door het domeinnaam aan te vullen met /robots.txt in de adresbalk van de browser.

Robots.txt testen

Via de Google Webmaster Tools kun je het robots.txt bestand aanpassen en testen. Hiervoor dien je in te loggen op www.google.nl/webmastertools en vervolgens de betreffende website te selecteren. Mocht je nog geen GoogleWebmaster Tools aangemaakt hebben, dan dien je eerst de website toe te voegen aan de Google Webmaster Tools. Eenmaal de website aangeklikt in de Google Webmaster Tools verschijnt er een menu aan de linkerkant, hier kun je kiezen voor 'crawlen' en 'robots txt-tester'. Op deze manier kun je inzien of de website inmiddels een robots.txt bestand bevat en welke onderdelen toegankelijk zijn voor de zoekmachinerobot. Mocht de website nog geen robot.txt bestand hebben, dan is deze via de 'robots txt-tester' in de Google Webmaster Tools ook te verzenden.

Het robots.txt bestand optimaliseren

Zoals al eerder in dit artikel al duidelijk werd zal Google ook de CSS en Javascript bestanden willen inzien tijdens het indexatieproces. Ga hiervoor wederom naar de Google Webmaster Tools en kies voor 'crawlen' en vervolgens voor 'Fetchen als Google', nu krijg je een venster te zien waarin je het webadres (of een gedeelte hiervan) in moet vullen. Vul hier niets in en klik op de button 'ophalen en weergeven', nu wordt de website via de Google Webmaster Tools ingeladen op een manier zoals de zoekmachinerobot het ook ziet. Wanneer de website volledig is ingeladen, klik je op de url en je zult zien op welke manier Google de website ziet. De informatie die noodzakelijk is om het robots.txt bestand te optimaliseren vindt je onder de weergave. Er wordt een tabel getoond met 3 kolommen. 1. De url Hier wordt de bestandslocatie getoond waar de Googlebot (en andere zoekmachinerobots) het bestand kan vinden. 2. Het type bestand In de tweede kolom wordt het type bestand getoond, dit kunnen bijvoorbeeld lettertypes zijn, scripts of afbeeldingen. Vooral de scripts zijn belangrijk voor de Googlebot aangezien dit meestal de Javascript bestanden zijn. 3. Reden Hier wordt aangegeven of het bestand toegankelijk is, tijdelijk onbereikbaar of onbereikbaar. In de laatste twee gevallen dien je de bestandslocatie te controleren/aan te passen in het robots.txt bestand en opnieuw in te dienen bij Google via de functie 'Fetchen als Google' in de Google Webmaster Tools.

CSS en Javascript bestanden toegankelijk

Dankzij deze aanpassingen zijn de CSS en Javascript bestanden toegankelijk voor de Googlebot. Mochten er bestanden zijn die je zelf niet kunt aanpassen, dan dien je hiervoor de websitebouwer in te lichten. Deze kan eventueel ook het robots.txt op de webserver plaatsen. Mocht dit artikel te technisch zijn dan kun je ook deze mail naar de websitebouwer sturen, zodat deze de CSS en Javascript bestanden toegankelijk kan maken. Dit kan eenvoudig met de onderstaande knoppen.

Geen opmerkingen:

Een reactie posten