XML-sitemaps: voor- en nadelen bij zoekmachine-optimalisatie

Is het gebruik van een XML-sitemap nu wel of niet aan te raden voor zoekmachine optimalisatie?

Op die vraag probeerde ik vandaag antwoord te vinden. De aanleiding hiervoor was het nieuws dat je vanuit je robots.txt de search engines Google, Yahoo, MSN/Live Search en Ask naar één XML-sitemap kunt sturen. Er zijn verschillende issues die met het gebruik van XML-sitemaps en zoekmachine-optimalisatie te maken hebben.

Crawling v.s. ranking

Crawling betekent dat een spider je site bezoekt. Ranking krijg je als een spider je pagina niet alleen bezocht heeft, maar er ook een waardering aangehangen heeft. Dat een bot je pagina überhaupt bekeken heeft, zegt nog niets over de waardering ervan. Die waardering is ranking. Ranking heeft met veel meer factoren te maken, zoals Google zelf ook zegt:

Sitemaps helps speed up the discovery of your pages, which is an important first step in crawling and indexing your pages, but there are many other factors that influence the crawling/indexing processes.

Natuurlijke indexering 

Maar die eerste stap, opname in de search engines, is ook belangrijk voor SEO’s. Zo willen we weten of de 'spiderability' o.k. is. Daarom zeggen veel mensen dat je met name bij nieuwe sites twee keer moet nadenken voor je een sitemap gebruikt. In principe ben ik het hiermee eens, hoewel ik nog niet overtuigd ben van 'bewijzen' hiervoor (wel van de argumenten).

Diagnostieke informatie 

Het gebruik van een XML-sitemap moet je los zien van de diagnostieke informatie je bijvoorbeeld in Google Webmaster Central krijgt (zie ook hier). Die informatie is niet mis:

• crawl errors;
• gebruikte zoektermen: zowel wat betreft jouw toprankings erop als queries die bezoekers opgeleverd hebben;
• 'what we know': top content en linkteksten van inkomende links;
• robots.txt validatie: handig;
• preferred domain input: to www or not to www? Is hier dus geen issue meer;
• crawl frequentie: hoe vaak bezoekt een spider je site met eventueel de mogelijkheid om dit te wijzigen (meestal niet van toepassing);
• indexatie informatie: hoe heeft de Googlebot je site geindexeerd; wanneer voor het laatst, etc.;
• heeft je site de Google webmaster guidelines overschreden of bevat het malware volgens Google? If so, dan wil je dat graag weten ;)

Wat ik nog mis in dit overzicht is de ‘inlinks’ feature die begin februari 2007 is toegevoegd aan Google Webmaster Central. Het schijnt dat dit alleen functioneert als je een sitemap gebruikt, maar dat moet ik nog uitzoeken (weet iemand dit?).

Scraping bestrijding

Als je search engines op de hoogte stelt van je sitemap, moet je jezelf als website-owner verifiëren.

Zo weten zij zeker dat alleen jij de gedetailleerde informatie krijgt die zij bieden. Dat is mooi, maar denk ook eens aan alle scraper-sites die jouw content stelen. Verificatie is een extra wapen in de strijd tegen content-scrapers, omdat je in de gelegenheid gesteld wordt om search engines als eerste op de hoogte te brengen van jouw nieuwe content (pingen). Verificatie staat verder ook los van het uploaden van een sitemap, om meerdere redenen.

Onlangs gewijzigde pagina’s

Als je reeds geïndexeerde pagina’s op je site om wat voor reden dan ook wijzigt zal Google deze wijzigingen sneller opnemen in hun index als je ze daarvan via een sitemap op de hoogte stelt. Daarvoor kun je de ‘lastmod’ tag gebruiken. Je kunt ze dus gericht naar geüpdate onderdelen van je site sturen zonder dat ze daar via natuurlijke, langzamere crawling zelf achter moeten komen.

Supplemental index

Het artikel dat André Scholten eerder schreef over XML-sitemaps, bevat (slechts) één onderdeel waarin ik hem niet volledig volg. Omdat crawling los staat van indexatie, zul je niet in de supplemental index belanden omdat je bijvoorbeeld 1000 pagina’s van een site aanmeldt.

Dat het even zal duren vóór 1000 pagina’s backlinks krijgen is natuurlijk waar, maar het is niet de enige reden waarom je in supplemental zou kunnen komen. Je inlinking, site-structuur, unieke meta-descriptions en title-tags en fatsoenlijke outbound linking (niet naar ezels/dwerg/koevoet pr0n) tellen ook mee.

Niettemin is het wellicht verstandig om nieuwe grote sites op meer organische wijze te laten indexeren of om slechts gedeeltelijke sitemaps te gebruiken van bijvoorbeeld alleen je top-level pages.

Het laatste nieuws

Een sitemap zorgt ervoor dat een zoekmachine een website sneller indexeert. Als je dus met een nieuwtje komt, kun je door de zoekmachines te pingen ervoor zorgen dat ze meteen die betreffende pagina indexeren. Dit is natuurlijk overbodig als spiders je pagina al 796213 keer per dag bezoeken.

Conclusie: wat vind ik nu van sitemaps?

Goede vraag. Er zijn voors en tegens voor verschillende sitiuaties. Waar ik eerder vond dat een duidelijk zicht op ‘natuurlijke indexatie’ enorm belangrijk was en reden genoeg om geen sitemap te uploaden, zie ik nu toch meer voordelen dan nadelen.

Vooral het feit dat je via een sitemap gericht een bot kunt sturen en ermee kunt communiceren (ook i.v.m. tegengaan van scraping) spreekt in het voordeel van sitemaps. Ook het inzicht dat crawling iets anders is dan indexatie, maakt de tegenargumenten minder zwaar. Belangrijkste tegenargument blijft evenwel inzicht in de 'spiderability' van een site.

Kort gezegd: meestal is het verstandig, maar gebruik het niet zonder na te denken over mogelijke nadelen.

Reacties

door Emiel Kamzol, 2007 05 14

Drie kwart jaar geleden ben ik met sitemaps gaan experimenteren. En de door jou aan gegeven twijfels heb ik ook gehad. Maar kwam eigenlijk al snel tot dezelfde conclusie. Ik wou er snel achter komen waar het fout ging met de google bot. En door gebruik met sitemaps krijg je daar snel een antwoord op. Leuk artikel..

door ramon, 2007 06 04  

Momenteel viond ik xml-sitemaps vooral handig om aan zoekmachines snel door te geven als je iets gewijzigd hebt aan reeds bestaande, oudere pagina's. Dat betreft dan de '' tag

door monchito, 2007 06 04  

< lastmod > :)