SEO Troubleshooting Checklist

Wat doe je als Google jouw website ineens niet meer lief vindt? Alles was koek en ei, maar ineens begint je traffic te dalen! Waarom? En belangrijker nog: hoe fix je dat?

Deze checklist kan je helpen om daar achter te komen, geeft je hints over oplossingen en verwijst je naar veel bronnen met aanvullende informatie.

Download

Uiteraard begrijp ik goed dat je dit erg lange artikel liever uit wil printen:

Download daarom de whitepaper ;)

1. Stel vast OF je een probleem hebt

Voordat je gaat zoeken naar oplossingen, moet je eerst je probleem afbakenen. Zorg dat je antwoord krijgt op de volgende subvragen.

Is de daling abnormaal

Realiseer je allereerst dat schommelingen normaal zijn. Heb je je recente daling bijvoorbeeld al vergeleken met dezelfde periode vorig jaar? Misschien is het wel normaal als je in de zomervakantie minder traffic krijgt...

Hoe groot is de daling

Druk de daling uit in een percentage over een bepaalde periode, binnen een bepaald kanaal. Een week is echt te weinig. Kijk eerder naar bijvoorbeeld een maand tot een jaar. Een voorbeeld van zo'n daling zou dan zijn:

25% daling uit Google organic tussen nu en 3 maanden geleden.

Welk kanaal

Kun je de daling isoleren tot 1 kanaal? Heb je alleen een daling in Google organic, of bijvoorbeeld ook vanaf verwijzende sites, direct verkeer, en Google Adwords?

Welke (typen) pagina's

Welke pagina's binnen je site hebben last van de daling. Het helpt als je binnen je site bepaalde typen pagina's kunt isoleren. Zijn het je categoriepagina's, je productpagina's, je artikelen, etc etc. Zijn het je toppagina's of zit het in je longtail? p.s.: er zijn verschillende manieren om je paginas te segmenteren met Google Analytics.

Hoe groot is de daling #2

Het maakt nogal verschil uit of je een 100% daling hebt, 80%, 25% of 5%:

• 95%-100% daling kan duiden op indexatieproblemen, je site gehackt, website offline of onbereikbaar, penalty voor cloaking, verkeerde redirects, etc;
• 50%-80% daling kan duiden op een flinke algoritme wijzing of een penalty;
• 25%-50% daling duidt veelal op een filter, als je bijvoorbeeld links hebt gekocht of verkocht, crawl issues, algoritme wijziging
• 5% daling duidt op allerlei kleinere dingen, zoals heftiger concurrentie, een verloren positie op een topterm, geen nieuwe aanwas van links, linkdevaluatie, of wellicht gewoon een normale schommeling.

Disclaimer: deze percentages zijn inschattingen en geen vaststaande of officiële feiten. Jouw situatie is ongetwijfeld anders!

2. Enkele best practices

Voordat we specifiek gaan worden eerst wat algemene tips.

Logboek

De allerbelangrijkste tip die ik je geef is dat je een logboek van de site moet bijhouden. Als er dan problemen optreden weet je in elk geval wat wanneer aan de site gewijzigd is. (Als SEO moet je er dus ook voor zorgen dat je van wijzigingen altijd op de hoogte bent!)

Qua vorm lijkt het vooral op een middeleeuwse kroniek: 'op datum x gebeurde dit. Op datum y gebeurde dat'. In dat logboek kun je zaken opschrijven als:

• 'nieuwe versie vanuit acceptatieomgeving live gezet'
• 'site genoemd op voorpagina Digg/Slashdot'
• 'nieuwe blogger toegevoegd aan team'
• 'rewriteregels aangepast door web developer', etc

Het idee is vooral dat je gewoon zo veel mogelijk opschrijft, zonder dat je je druk maakt om de betekenis ervan. Het is afhankelijk van eventuele toekomstige problemen of een bepaalde wijziging belangrijk blijkt of niet.

Sommige Analytics pakketten, zoals Google Analytics, bieden de mogelijkheid om op bepaalde data 'annotaties' toe te voegen. In feite hou je dan in je analytics pakket je logboek bij. Best handig.

p.s.: ik weet dat dit tijd en dus geld kost, maar op het moment dat je met een crisis zit, ben je blij dat het bijgehouden is!

Actie: logboek starten/bijhouden

Monitor

Monitor de uptime van je webserver. Zo kun je hele onverwachte dalingen krijgen als je site - ook al is het maar voor een half uurtje - down is. (met dank aan Eduard).

Waar kijk je het eerst

Je startpunt is iedere keer hetzelfde: kijk eerst in je statistieken. Dat is dus je web-analytics omgeving, het logboek dat je bijgehouden hebt (toch? TOCH?!? ;)), je webmaster tools, en eventueel zelfs je logfiles.

Meestal krijg je, als je hier gaat kijken, al een redelijk goed idee van wat er aan de hand is.

Actie: begin eerst met je analytics/logboek/webmaster tools

site:

Tik 'site: ' eens in in Google, en herhaal dit voor Bing, Yahoo en Ask. Wat zie je? Urls die er niet thuishoren? Dubbele metatitles? Spam? Veel te veel pagina's geïndexeerd?

Google is bijvoorbeeld beter in om rotzooi/spam pagina's te onderdrukken, maar andere zoekmachines tonen die vaak wel. Heeft je site in Google 7 pagina's, maar in Yahoo 35 miljoen? ...

Actie: site:  check in verschillende zoekmachines

Concurrentie

Soms is er niets met jouw site aan de hand, maar heeft een concurrent een positie veroverd op een belangrijke plek. Zeker bij kleinere sites wil het voorkomen dat er een grote afhankelijkheid bestaat van het verkeer dat op 1 keyword binnenkomt. Als jij een positie gedaald bent op dat cruciale keyword, dan kan het zijn dat je dat goed merkt!

Actie: monitor je belangrijkste keywords, zodat je wijzigingen opmerkt

Penalty?

Veel mensen denken dat hun site een penalty heeft als ze ineens minder bezoek krijgen. De gedachte is logisch, maar het is lang niet altijd werkelijk het geval! Niettemin kun je met dit handige schema eens nagaan of dit werkelijk het geval is bij jou. In de meeste gevallen zul je concluderen dat dit niet het geval is.

Actie: verzeker je ervan dat je waarschijnlijk geen penalty hebt.

Zoekmachine richtlijnen

Voldoet je site aan de zoekmachine richtlijnen? Zo niet, dan kan daar al de verklaring liggen. En nee, niet afgaan op wat anderen (ook al zijn het 'experts') zeggen. Zelf nakijken!

• Google
• Bing
• Yahoo

Actie: richtlijnen nalopen en eerlijk beantwoorden: voldoet je site aan de richtijnen?

3. Indexatieproblemen

Hieronder staan mogelijke oorzaken van complete trafficdrops. Deze hebben meestal technische oorzaken.

Door een technische wijziging kan het voorkomen dat de zoekmachines ineens maar heel moeilijk of zelfs niet bij je content kunnen komen. Dit heeft altijd direct gevolgen. Hieronder een lijst met tips over wat je ertegen kunt doen.

Zelf spideren

Laat zelf eens een spider los op je domein en kijk eens of die er doorheen komt. Als je een grote site hebt, overleg dan eerst even met de webmaster.

Met XENU Link Sleuth kun je zelf je site spideren: is een Windows proggel (Mac alternatief is Integrity) die vooral bekend staat om zijn snelle spideren. Heeft als nadeel dat je webserver een behoorlijke klap krijgt, dus overleg eerst even met je webmaster. Deze spider is niet per se gemaakt voor SEO doeleinden, maar controleert allerlei zaken die toch erg handig zijn:

• title-tags
• in- en uitgaande links
• http status codes, en nog veel meer

Daarnaast biedt het ook uitstekende exportfunctionaliteiten, zodat je dit allemaal prima kunt analyseren in Excel/Tableau etc.

Je kunt ook zelf spideren met de IIS SEO toolkit: ik heb deze zelf nog niet gebruikt, maar hoor hier goede verhalen over. Het geeft ook aanbevelingen, dus is eigenlijk een gratis versie van allerlei 'automatisch SEO-advies' proggels.

Meestal zie je zo al snel of je bijvoorbeeld enorm veel links naar dode pagina's hebt, verkeerde redirects, duplicate content by url problemen etc.

Actie: zelf spideren, resultaten checken

Testomgevingen

Als je een goede webbouwer hebt wordt er gebruik gemaakt van acceptatieomgevingen. Het komt nog wel eens voor dat wanneer een testversie live gezet wordt, dat er dan bepaalde onjuiste instellingen mee gekopieerd worden naar de liveomgeving, zoals:

• de XML sitemap verwijst nog steeds naar de testomgeving (het effect van sitemaps op spidering is groot, vergeet dat niet!)
• het robots.txt bestand schermt het domein of een gedeelte ervan af voor zoekmachines (als je dat gebruikte om je testomgeving af te schermen)
• of er wordt een cookiesysteem gebruikt om de testomgeving af te schermen die nu ook live staat
• alle interne links verwijzen nog naar de testomgeving (die afgesloten is)
• (belangrijke) iframes verwijzen nog naar pagina's in een testomgeving, etc

Ik heb dit in de praktijk meegemaakt en kan je vertellen dat dat – mits te laat ontdekt – je rankings niet helpt. En als je het wel op tijd ziet en aan de bel trekt ben je een held ;)

Actie: check in elk geval je interne links, xml-sitemap, robots.txt en iframes

Canonical metatag en redirects

Met de canonical metatag en met (301) redirects kun je rankingwaarde overdragen van de ene pagina naar de andere. Dat is natuurlijk handig, maar kan ook voor problemen zorgen als dit fout gaat.

Actie: check canonical tags en redirects. Redirects kun je opsporen met XENU of gewoon door ze zelf handmatig te volgen.

Noindex/disallow

Je kunt letterlijk tegen Googlebot zeggen dat bepaalde secties of individuele URIs niet mogen ranken/getoond worden/linkwaarde overdragen. Dat kan met robots.txt, met de noindex metatag, met nofollows, en met de X-Robots HTTP header.

In Google Webmaster Tools zie je de tab 'verboden door 'robots.txt'. Ik weet eerlijk gezegd niet of je ook ' verboden door noindex' en 'verboden door X-Robots' daar terugziet. Wellicht moet je die zelf nog opsporen.

Actie: controleer instellingen van noindex/nofollow/disallow etc in je robots.txt, je meta-tags en zelfs je http-headers (zie hieronder hoe je httpheaders controleert)

Server problemen: http headers

Wat je bij webservers goed na moet kijken is of je pagina's met de juiste HTTP-headers geserveerd worden. Soms zorgt een update of een communicatiefout tussen systemen ervoor dat dat mis loopt, terwijl er op het eerste gezicht niets aan de hand lijkt te zijn.

Voor de volledigheid: dat moet een 200 OK zijn. Vergeet ook niet te variëren met hoe je je pagina's opvraagt:

• als gewone gebruiker
• als Googlebot
• alleen HTTP-headers versus gehele content
• ontroleer niet alleen de statuscode, maar ook andere velden in de HTTP-headers, zoals last-modified, cache, etc

Tip: Ik gebruik zelf Lynx om server headers te checken. De livehttpheader extensie van Firefox geeft teveel rommel mee. Met de volgende vlaggetjes retourneert Lynx alleen de HTTP status van een document:

lynx -head -dump

Lynx gebruik je op pagina niveau, je kunt XENU gebruiken om pagina's te bulkchecken. Ook in Google Webmaster Tools e.d. krijg je feedback over de server headers en de datum waarop Google die problemen tegenkwam.

Actie: http headers controleren

Inladen externe HTML

Altijd wanneer je content inlaadt dat afkomstig is van andere domeinen moet je goed opletten. Niet alleen i.v.m. duplicate content problemen, maar ook in technische zin:

• Iframes zijn vaak lastig te herkennen, omdat ze meestal onopvallend geïntegreerd worden. In mijn ervaring vind je die het snelst door aan de website eigenaar te vragen waar iframes/ingeladen content/samenwerkingen zich bevinden. Op externe content die in iframes staat kun je uiteraard niet ranken;
• brakke HTML: als men inmiddels genoeg heeft van iframes, dan is het de volgende stap om die externe content daadwerkelijk rechtstreeks je HTML in te schieten. Let dan wel op de kwaliteit van die HTML. Ik heb het wel eens meegemaakt dat een boekingstool ingeladen werd, maar dat die tool (die bovenaan in de broncode stond) alleen al voor een H1-tag 12.000 karakters nodig had. Onnodig te zeggen dat dat indexatieproblemen opleverde.

Actie: externe HTML controleren, kwaliteit van ingeladen HTML controleren

Formulieren?

Voor veel SEOs is dit een no-brainer, maar voor de volledigheid: je content moet bereikbaar zijn via normale tekstuele hyperlinks, en niet via formulieren. Ikzelf ben een groot fan van faceted search systemen, maar je moet wel oppassen voor duplicate content. (goede uitleg hier). Je kunt eventueel het script van Andre gebruiken om dropdowns indexeerbaar te maken, als je layout geen wijzigingen toestaat.

Hoe dan ook, als je content alleen bereikbaar is door het invullen van formulieren, dan heb je een groot probleem. Het is meestal prijzig om dit op te lossen, maar als je SEO belangrijk vindt, dan heb je geen andere keuze.

Actie: alle (belangrijke) content moet bereikbaar zijn via normale hyperlinks en normale navigatiestructuren (geen footers en geen dropdowns!).

Crawlsnelheid

Kun je instellen in Google Webmaster Tools. Je moet er eigenlijk gewoon van afblijven. Dit moet je ALLEEN gebruiken als de traffic van Googlebot problemen oplevert op je server. Wat het meestal niet doet. Afblijven dus!

p.s.: als je hier toch wel mee wil spelen, houd het dan a.u.b. goed in de gaten. Ik heb het wel gezien dat Googlebot simpelweg volledig stopt met spideren terwijl je aangeeft dat da niet de bedoeling is. Au.

Actie: crawlsnelheid in Google Webmaster Tools met rust laten

Faceted search

Hip hoor, zo'n faceted search systeem info). Heb je er wel voor gezorgd dat wanneer er meerdere filters tegelijk gebruikt worden, dat dat resultaat dan niet indexeerbaar is? Anders kon je nog wel eens een duplicate content probleem krijgen...

Je kunt dat oplossen door delen van de facted search niet indexeerbaar te maken, de canonical tag te gebruiken, noindex te gebruiken, etc. Doe dit wel in overleg met een (goede) en ervaren SEO (shameless self promotion ;)), want het is geen 'peace of cake'.

Actie: duplicate content problemen bij faceted search oplossen

Whois ip

Het zou niet moeten gebeuren, maar als je op 1 dag je webserver en je whois gegevens wijzigt, dan kun je wel eens je volledige rankings kwijtraken (believe me). Waarschijnlijk omdat Google vermoedt dat je domein verkocht is. Niet doen dus.

Actie: niet whois-gegevens en ip-adres/server op 1 dag wijzigen

4. Site gehackt?

Als je meldingen krijgt van gebruikers dat ze viruswaarschuwingen krijgen bij je site, dan weet je dat het fout zit. Dit is funest voor je site, voor SEO, voor alles eigenlijk. Dit moet zo snel mogelijk opgelost worden! Hier een paar snelle tips waar je naar kunt kijken. Kijk ook eens hier.

Check je stats

Kijk in je analytics pakket, je logfiles, je Google Webmaster Tools, etc. en zoek naar 'verdachte zaken': rank je ineens op Viagra? Zie ook hier.

Actie: controleer je statistieken, zoals Google Analytics

Hidden iframes

Tip: open meerdere bronbestanden in een editor die dat kan (zoals Notepad ) en doe een 'multi file search' naar 'iframe'. Let in het bijzonder op je indexbestanden.

Actie: zoek naar hidden iframes

Zoek naar gewijzigde bestanden op je FTP

Je kunt naar veranderde code zoeken (moeilijk), en naar onlangs gewijzigde bestanden op je webserver (makkelijk). Open je FTP proggel en navigeer naar je website files, sorteer de documenten op datum en dan zie je het vanzelf.

Deze controle kun je trouwens ook automatiseren. Met een cronjob in combinatie met een script die continu controleert op gewijzigde bestanden. Dit script van Dazzlin Donna doet dat bijvoorbeeld.

Actie: bekijk je server bestanden, bijvoorbeeld via ftp: wanneer zijn ze voor het laatst gewijzigd (en klopt dat)

.HTACCESS redirect

Kijk ook je .htaccess na. Als er zoiets staat als dit is het raak:

RewriteEngine On
RewriteCond %{HTTP_REFERER} .google.$ [NC,OR]
RewriteCond %{HTTP_REFERER} .yahoo.$ [NC,OR]
RewriteRule .* http://spamdomain.com/file.php?m=s2 [R,L]

Je ziet het als je .htaccess gewijzigd is wanneer je die 'zoek op datum' methode gebruikt.

Actie: controleer je .htaccess bestand op gekke redirects

'Deceptive scripts'

Om bovenstaande scripts lastiger te vinden te maken, proberen spammers/crackers ze te camoufleren. Je moet goed opletten. Een 'i' wissel je eenvoudig in voor een 'l' en een 'o' heel makkelijk voor een '0', etc.

Actie: dit soort dingen zie je pas als je weet waar je naar moeten zoeken. Je komt zoiets als dit op het spoor als je je stats gecheckt hebt

Tips: backup wachtwoorden upgrades

De algemene tip die ik hierbij kan geven is dit: backup regelmatig je websites, zorg ook voor een schone 'originele' kopie. Wijzig regelmatig je wachtwoorden en vergeet ook niet om je systemen te upgraden naar de laatste versies. Dat weet je natuurlijk allang, maar ik herhaal het toch, omdat het so true is.

Google Webmaster Tools malware melding

Als je Google Webmaster Tools instelt voor je domein(en), dan weet Google wie ze moeten benaderen als hun bot bekende badware op je site aantreft.

Ze zullen je dan een mailtje sturen met de melding dat je site mogelijk geïnfecteerd is en waar die infectie waarschijnlijk te vinden is. Superhandig!

Google malware meldingen informatie info

Actie: Google Webmaster Tools instellen, een bestaand emailadres opgeven zodat je de mailtjes ook daadwerkelijk krijgt.

Cloaking

Om het feest compleet te maken gebruiken hackers in toenemende mate ook cloaking om hun exploits te camoufleren. Jij ziet niks, maar Google wel.

Dus eigenlijk moet je alle clientside checks ook nog eens uitvoeren alsof je verschillende user-agents bent:

• uiteraard gewoon normaal
• maar ook alsof je googlebot bent. Hiervoor kun je de UserAgent switcher plugin van Firefox gebruiken of de 'fetch as googlebot' functionaliteit in Google Webmaster Tools. Kijk eventeel ook in de Google cache (hoewel ook die gefaked kan worden).

Actie: controleer of malwarescripts gecloaked zijn

5. Tekstuele SEO problemen

Over het algemeen kun je met techniek makkelijker iets stuk maken dan met tekst als het gaat om SEO. Problemen met tekst zijn vaak wat sluipender, maar vaak ook lastiger en duurder om op te lossen. Hieronder een aantal voorbeelden.

Thin / duplicate content?

Kijk eens vanaf een afstandje naar je site. Hoeveel % van je pagina's voegt wat toe aan het web en hoeveel procent bevat weinig unieke content, linkt vooral uit naar anderen, bevat misschien maar 1 zinnetje met eigen content, etc.

Wees eens eerlijk.

Vooral webshops en domeinen met een grote longtail (dus ook affiliates en social media sites) moeten hier eens goed op letten. Google wil nog wel eens aan knoppen draaien (zoals onlangs) en dit soort pagina's ineens minder goed gaan waarderen.

Controleer ook eens of je eigen interne zoekresultaten geïndexeerd worden (want is tegen de richtlijnen).

Actie: schat eens in hoeveel % van je pagina's unieke content biedt

Subdomeinen

Het gebruik van subdomeinen, waarop dezelfde site staat, levert doorgaans geen grote duplicate content problemen op, maar het kan geen kwaad om het even te controleren.

Een vrij eenvoudige manier om te controleren of Google meerdere (subdomein)versies van je site toont in de index is door de volgende zoekopdracht te gebruiken:

site:domein.nl -www.domein.nl

Dan krijg je alles van je domein te zien zonder 'www'. Werkt uiteraard alleen als je dat op je site hebt (denk dat dat wel geldt voor de meeste sites).

Actie: controleer of je eigen site geen duplicate content heeft door subdomeinen te zoeken/vinden

Syndicatie/RSS

Je hebt een deal gesloten dat jouw content getoond wordt op een grote site. Feest. De kater komt echter wanneer je ziet dat dat grote domein ineens gaat ranken op jouw content.

Maar jij bent toch het origineel? En dat grote domein linkt toch naar jou? Fout. Het komt voor dat dat niet helpt. Als je je content aan anderen geeft en zij zijn sterker dan jij, dan zullen die anderen ranken. Google is een popularity contest: It's All About Teh Linkz Baby.

Actie: bedenk goed wat je met je full RSS doet

Jouw content wordt gejat

Als je goede/populaire content hebt, dan kun je erop wachten totdat andere sites je content overnemen. Wat bijvoorbeeld vaak voorkomt is dat jouw content getoond wordt, maar dat een eigenaar daar de eigen advertenties en/of banners bij plaatst.

In feite verdienen zij dan geld met jouw content.

Soms zijn het handige jongens die het voor elkaar krijgen om goed te ranken, en zelfs posities in Google van jou over te nemen! Dat wil je absoluut niet.

Actie: monitor kopieën van je content

Er zijn verschillende manieren om dat op te sporen:

• gebruik Google Alerts op jouw merknaam;
• gebruik Copyscape om kopieën van jouw content op te sporen;
• tik zelf zo nu en dan eens een gedeelte van een tekst van je site in als zoekterm en zie wat eruit komt.

6. Links

Drooglegging

Als er al een tijdje geen nieuwe content op je site geplaatst is, er geen nieuwe links bijgekomen zijn, etc, dan is de kans aanwezig dat je over een soort 'tipping point' (maar dan een negatieve) heen bent getild: vanaf dat moment ben je niet waardevol genoeg meer. Je rankt dan nog wel op je eigen naam, maar misschien niet meer op je topkeywords en/of niet meer op de eerste resultaatpagina van Google.

Oplossing: content links regelen!

Actie: controleer ook eens hoe het web op jouw site reageert: is het al een tijdje stil rond jouw site? Tijd om daar eens wat aan te doen!

Crappy links gekocht?

Als je crappy links hebt gekocht om betere posities te verkrijgen, en Google ziet dat, dan wordt de waarde van die links gedevalueerd. Als je daarvan afhankelijk was, zullen dus ook je posities in Google dalen. Daarnaast moet je ook niet vreemd opkijken als het moeilijker voor je wordt om die oude posities terug te krijgen.

Actie: maak geen gebruik van linkfarms, link exchanges, en andere crap die je – veelal geautomatiseerd – links verkopen en gegarandeerde posities beloven. Ze beloven je de wereld en geven je een zakje verontreinigde modder. Niet doen.

Linkprofiel

Bekijk het linkprofiel van je site eens, bijvoorbeeld met MajesticSEO. Heb je zo'n 'link building expert' ingehuurd die afgerekend is op aantal links per uur? Dat is meestal geen goed nieuws... Zoek maar gewoon naar spamsites en bekijk eens of die pagina's/sites ranken op hun eigen naam.

Actie: bekijk eens welke sites naar je linken. Is het troep? Weg ermee!

Toplinks weg?

Net zoals er slechte links zijn, zijn er ook (hele) goede. Die kunnen wegvallen. Weet je welke dat zijn? Houd ze in de gaten!

Actie: monitor continu je beste backlinks, bijvoorbeeld met Raven tools [aff.].

Conclusie

Zo, dat zijn heel wat mogelijke problemen. Het grappige is dat ik ze zelf in een paar minuutjes uit m'n mouw geschud heb. Ze allemaal opschrijven en ordenen duurde wat langer :p

Dank & feedback?

Ik dank Dennis Sievers van Indenty Zoekmachine Marketing, Roy Huiskes - SEO extraordinaire en Wiep Knol - Link building voor hun waardevolle feedback over de pre-release versies van deze checklist!

En uiteraard, mocht je opmerkingen en/of toevoegingen hebben over deze checklist dan hoor ik dat uiteraard graag, hetzij via email of de comments!

Interessant?

Lees dan ook eens meer artikelen over checklists, seo,  ...

Reacties