Crawler

T膮 nazw膮 okre艣la si臋 po prostu roboty wyszukiwarki, r贸wnie偶 Googlebot, u偶ywane do indeksowania stron internetowych. Przeszukuj膮c zasoby globalnej sieci, gromadz膮 wszystkie niezb臋dne informacje stanowi膮ce nast臋pnie podstaw臋 do uwzgl臋dniania witryny w wynikach wyszukiwania, czyli SERP (Search Engine Results Page). Aby strona mog艂a si臋 znale藕膰 na li艣cie wynik贸w, roboty musz膮 przy indeksacji uwzgl臋dni膰 takie jej elementy jak:

  • zawarto艣膰 strony, czyli publikowane na niej tre艣ci;
  • kod 藕r贸d艂owy, zar贸wno samej witryny, jak i dodatkowych skrypt贸w;
  • aktualizacje zamieszczanych tre艣ci.

Niekiedy, z r贸偶nych przyczyn, w艂a艣ciciele stron nie chc膮, aby by艂y w cz臋艣ci lub ca艂o艣ci indeksowane przez roboty wyszukiwarki. Aby crawlery nie mia艂y do niej dost臋pu, nale偶y odpowiednio zmodyfikowa膰 plik robots,txt, umieszczaj膮c w nim instrukcj臋 noindex, usuwaj膮c膮 witryn臋 z wynik贸w wyszukiwania.