Indexatie door zoekmachines

Wanneer je wilt werken aan je prestaties in zoekmachines dan begin je bij het indexeren van de website. Wanneer website pagina’s, berichten, producten en media eenmaal zijn geïndexeerd door zoekmachines dan kunnen ze beoordeeld worden op hun SEO waarde volgens het algoritme van de zoekmachines.

Wat is indexatie

De indexatie van website door zoekmachines gebeurt in de data van zoekmachines zelf. Hierbij plaatst een zoekmachine alle gecrawlde pagina’s in een index waarbij elke pagina wordt geplaatst bij het onderwerp waar het bij hoort. Net zoals boeken in de index van een bibliotheek.

De index is het register waar zoekmachines pagina vertoning uit haalt om te tonen in de zoekmachine resultaten wanneer naar een bepaald onderwerp wordt gezocht. En hoe meer een pagina aansluit bij het gezochte onderwerp hoe groter de kans is om in de zoekresultaten tevoorschijn te komen. Nu is nog de vraag op welke positie die vertoning komt te staan. Dat is waar het bij SEO pas echt om draait.

Het proces van indexatie kan weken tot maanden duren maar het belangrijkste is dat pagina’s indexeerbaar zijn om via de robot crawler opgenomen te worden in de index. Hiervoor moet een pagina een “index” tag hebben in de broncode van de pagina. Heeft de pagina “noindex” dat geeft dat aan dat de robot crawler de pagina niet zal indexeren voor de zoekmachine.

Waarom is indexeren belangrijk

Een website en de pagina’s, berichten. media en producten kunnen alleen SEO waarde krijgen wanneer ze zijn geïndexeerd door de zoekmachines. Dit kun je doelgericht doen door ze indexeerbaar te maken. Pagina’s die geen SEO waarde nodig hebben kunnen uit de index worden gelaten.

Hoe indexeer je jouw website

Eigenlijk hoef je niets te doen om een website te laten indexeren, dit gebeurt automatisch wanneer een website wordt bezocht door de zoekmachines. Een zoekmachine vind jouw website automatisch door de crawl robot van elke zoekmachine. Bij het eerste contact door de crawl robot wordt een website opgenomen in de data van zoekmachines waarbinnen de de opgenomen pagina’s worden geïndexeerd.

Hoe lang duurt indexatie door zoekmachines

Dit is de eerste stap die zoekmachines ondernemen om jouw website te zien en later te beoordelen. Wanneer het om een volledig nieuwe website gaat dan kan de natuurlijke indexatie 15 tot 25 weken duren. Maar je kunt zoekmachines ook pushen om de indexatie te versnellen.

Hoe versnel je de indexatie van je website

In plaats van te moeten wachten tot het eerste crawl moment van de zoekmachines, kun je de zoekmachines ook pushen om een crawl te maken. Dit doe je door een xml sitemap op je website aan te maken en deze op te geven bij Google in de Search Console. Dit is een Google account waarin je opgeeft eigenaar te zijn van een website waarbij je de url van de xml sitemap van je website opgeeft om te laten indexeren. Zo push je de indexatie waardoor die sneller wordt bezocht door de crawl bots van de zoekmachines.

Wat is crawlen

Crawlen is het bezoeken en lezen van een website door de crawler robot van zoekmachines. Dit is een programma dat het internet afloopt op zoek naar websites om deze te lezen, of opnieuw te lezen na een eerder bezoek. De informatie die de crawl robot opneemt wordt meegenomen in de index van de zoekmachines.

Wat is crawl budget

Crawl budget is een toegekende waarde en de manier waarop zoekmachines laten zien dat je krediet hebt opgebouwd met je website. Hoe meer crawl budget je hebt, hoe meer en hoe vaker een website wordt gecrawld.

Dit betekent dat een website die voortdurend nieuwe informatie plaatst, of wijzigingen maakt, ook sneller worden geïndexeerd om nieuwe pagina’s of herschreven informatie op te nemen in de index. In dit geval zal de indexatie korter duren bij nieuwe pagina’s.

Wat is “noindex nofollow”

De twee begrippen “noindex” en “nofollow” hebben elk een aparte functie. “Noindex” is een tag die je aan een pagina geeft dat tegen de zoekmachine zegt “indexeer mij niet”. Hiermee zal de crawlbot van zoekmachine sdeze pagina dan ook niet opnemen in de index, en dus ook niet beoordelen op SEO waarde voor de website.

“Nofollow” is een tag dat zegt “volg de links op deze pagina niet”. Dit betekent dat links op de niet geïndexeerde pagina ook niet wordt opgenomen als verwijzende pagina naar een andere pagina of andere website.

Op deze manier wordt het bestaan van deze pagina op twee verschillende manieren als niet bestaan gemaakt. Let wel dat het niet betekend dat de vertoning van de pagina op de website verdwijnt. De pagina blijft nog gewoon z’n functie behouden als nodige pagina voor de website, alleen is de wil en mogelijkheid om ermee te ranken in zoekmachine is uitgeschakeld.

Wat is het effect van “noindex nofollow”

Een website krijgt een bepaalde SEO waarde toegekend door zoekmachines. Deze waarde wordt evenredig verdeeld over alle geïndexeerde pagina’s naargelang de belangrijkheid en SEO vriendelijkheid van elke pagina apart op diens onderwerp of zoekterm.

Elke andere onnodige pagina neemt dus een stukje van die waarde weg van pagina’s die wel belangrijk zijn. En aangezien ze toch geen relevante SEO waarde nodig hebben voor de website in het algemeen, kun je deze dus uitschakelen van indexatie.

Wat moet je wel en niet indexeren

Voor SEO is het belangrijk om ervoor te zorgen dat pagina’s die geen SEO waarde of ranking nodig hebben niet te laten indexeren omdat ze SEO waarde wegnemen van belangrijkere pagina’s.

Om een goed voorbeeld te geven is een pagina over een product of dienst belangrijker om mee te ranken dan de algemene voorwaarden pagina. Zo’n pagina als algemene voorwaarden kun je daarom uitsluiten van indexatie door ze de tag “noindex nofollow” te geven.

Niet elke pagina is dus geschikt om te laten ranken door zoekmachines. Hierbij zijn er een aantal pagina’s die altijd aanwezig moeten zijn op websites die geen SEO waarde nodig hebben en dus uitgeschakeld kunnen worden van indexatie.

• algemene voorwaarden
• privacy policy
• cookie policy
• contactpagina
• dynamische url’s

Hoe deindexeer je pagina’s

Om pagina’s of berichten niet te laten indexeren geef je ze de :”noindex nofollow” tag. In elke website systeem kun je aan de achterkant dit bij elke pagina instellen. Bijvoorbeeld in WordPress geef je bij de Yoast functie onderaan de pagina instellingen aan de pagina niet te laten indexeren en nofollow te maken.

Wat zijn dynamische url’s

Dit zijn urls die automatisch gecreëerd worden wanneer men op dezelfde pagina blijft waarbij de inhoud van de pagina na filtering wordt aangepast. Dit gebeurt op twee verschillende manieren.

2.Paginanatie url

Wanneer je op een website bent met blogartikelen zie je een maximaal aantal voorvertoningen van berichten en onderaan deze voorvertoning van de artikelen zie je een balkje dat een oplopende nummering aangeeft < 1 2 3 >.

Asl je daarop klikt ga je naar de volgende artikelen maar je ziet de url mee veranderen naar website/page/2/ of iets dergelijks. Dit is een automatisch gegenereerde url die ook opgenomen wordt in de index. Die wil je dus niet indexeren.

1.Shopfilter url

Een webshop filter heeft ook een dynamische url vorming waarbij de gefilterde keuzes worden getoont in de url zoals webshop/?filter_soort=product-kenmerk. Deze laatste geeft dus een extra url die geïndexeerd wordt wat je niet wilt.

Hoe verwijder je dynamische urls uit de index

Dynamische urls zijn dus geen pagina’s op zichzelf en kunnen daarom niet direct de tag noindex nofollow krijgen. Hiervoor moet je deze uitsluiten van indexatie via de robots.txt pagina. Dit is een pagina waarop je algemene uitsluitingen maakt van de crawlbaarheid van de website door zoekmachines.

Voor de twee voorbeelden hierboven geef je in de robots.txt bestand op de webserver de volgende codes om deze urls uit te schakelen van indexatie:

Disallow: ?/ (deze code laat alles vanaf ?/ niet indexeren)

Disallow: /page/ (deze code laat alles vanaf /page/ niet indexeren)