dhtml, html, javascript, internet, style sheets, DHTML, HTML, Javascript, Style Sheets, Internet, De computer van Voltaire, thuisbasis, Thuisbasis, zoekrobotten, Zoekrobotten, alles over zoekrobotten
Alles over zoekrobotten

Hoe kan men neen zeggen tegen de indexering van pagina's.

Hiervoor hebben we twee mogelijkheden :


   De ROBOT Meta tags
Je kan aan zoekrobotten melden of je site mag ge-indexeerd worden of niet. Met de ROBOT Meta tags heb je controle over iedere pagina in je site.
Hieronder zie je de vier verschillende mogelijkheden.
Het is wel zo dat niet alle zoekrobotten rekening houden met de ROBOT Meta tags. Zie de lijst onderaan met de namen van de zoekrobotten die rekening houden met de ROBOT Meta tags.
Plaats deze tags tussen de < HEAD > en de < /HEAD > tag.

De zoekrobot mag je pagina niet indexeren maar mag de links op je pagina volgen.
  • <meta name="robots" content="noindex,follow">

    De zoekrobot mag je pagina indexeren maar niet de linken volgen. (bv in geval van e-mail adressen)
  • <meta name="robots" content="index,nofollow">

    De zoekrobot mag je pagina niet indexeren en mag ook de linken niet volgen.
  • <meta name="robots" content="noindex,nofollow">

    De zoekrobot mag indexeren en de linken volgen. (dit is de standaardinstelling !)
  • <meta name="robots" content="index,follow">
    •   
     
    Zoekrobotten die de ROBOT Meta tag ondersteunen :
  • AltaVista
  • Excite
  • FAST Search
  • Go (Infoseek)
  • Lycos
  • Northern Light.

    Sommige zoekrobotten gebruiken ook de zoekresultaten van andere zoekrobotten. In sommige gevallen houden zij ook rekening met de ROBOT Meta tag. (Dit wordt bepaald of de resultaten komen van een zoekrobot die de ROBOT Meta tags herkend of niet)
    Dit is zo voor
  • AOL Search
  • HotBot
  • MSN Search
  • Magellan
  • WebCrawler.


    • De ROBOTS.TXT komt later aan de orde.