Banner image

Crawler

Co to jest Crawler?

Crawler

T膮 nazw膮 okre艣la si臋 po prostu roboty wyszukiwarki, r贸wnie偶 Googlebot, u偶ywane do indeksowania stron internetowych. Przeszukuj膮c zasoby globalnej sieci, gromadz膮 wszystkie niezb臋dne informacje stanowi膮ce nast臋pnie podstaw臋 do uwzgl臋dniania witryny w wynikach wyszukiwania, czyli SERP (Search Engine Results Page). Aby strona mog艂a si臋 znale藕膰 na li艣cie wynik贸w, roboty musz膮 przy indeksacji uwzgl臋dni膰 takie jej elementy jak:

  • zawarto艣膰 strony, czyli publikowane na niej tre艣ci;
  • kod 藕r贸d艂owy, zar贸wno samej witryny, jak i dodatkowych skrypt贸w;
  • aktualizacje zamieszczanych tre艣ci.

Niekiedy, z r贸偶nych przyczyn, w艂a艣ciciele stron nie chc膮, aby by艂y w cz臋艣ci lub ca艂o艣ci indeksowane przez roboty wyszukiwarki. Aby crawlery nie mia艂y do niej dost臋pu, nale偶y odpowiednio zmodyfikowa膰 plik robots,txt, umieszczaj膮c w nim instrukcj臋 noindex, usuwaj膮c膮 witryn臋 z wynik贸w wyszukiwania.