Operation Manual

Sites en pagina's instellen
55
gegenereerd en wordt er geen Robots-metatag in de webpagina's
opgenomen. Het robots.txt-bestand wordt opgeslagen in de
hoofdmap van de website en kan in elke teksteditor worden geopend
om te controleren welke pagina's en mappen worden uitgesloten.
Zo genereert u een robots.txt-bestand:
1. Kies Eigenschappen van site... in het menu Bestand.
2. Schakel in de menuoptie Zoekmachine de optie Robots-
bestand voor zoekmachine maken in.
3. (Voor de site) Schakel de optie Pagina's op deze site
indexeren in om toe te staan of te voorkomen dat
zoekmachines de volledige site indexeren.
- of -
(Voor een pagina) Als u wilt voorkomen dat
zoekmachines een bepaalde pagina op uw site indexeren,
moet u ervoor zorgen dat het selectievakje Zoekmachine-
instellingen van site negeren is ingeschakeld en schakelt
u vervolgens de optie Deze pagina indexeren uit.
Pagina's in het indexeringsproces opnemen
Tot nu toe zijn er hoofdzakelijk methoden aan de orde geweest
waarmee u webpagina's van het indexeringsproces kunt uitsluiten.
Als u deze opties niet gebruikt, worden webpagina's geïndexeerd
door de hyperlinks op elke pagina te volgen en trefwoorden,
beschrijvingen en paginatekst te verzamelen die moet worden
geïndexeerd. Mogelijk is dit proces niet efficiënt omdat uw site maar
een beperkt aantal interne hyperlinks bevat. Om te waarborgen dat
uw site ook in dergelijke gevallen optimaal wordt geïndexeerd, kunt
u een sitemap-bestand (sitemap.xml) maken. Het gaat hierbij om een
bestand dat door webcrawlers en spiders kan worden gebruikt om
uw site te verkennen. In het bestand staan de pagina's op uw site
vermeld die ze mogen indexeren. Dit bestand deelt zoekmachines
ook mee wanneer pagina's zijn gewijzigd, hoe vaak ze een pagina
opnieuw moeten controleren en hoe 'belangrijk' bepaalde pagina's
zijn in vergelijking met andere pagina's.