robots.txt

robots txt

Jest to plik tekstowy, poprzez kt贸ry tw贸rcy stron internetowych mog膮 wydawa膰 polecenia robotom wyszukiwarki. W tym celu plik robots.txt trzeba umie艣ci膰 w katalogu g艂贸wnym domeny na serwerze danej witryny. Wydawane przez ten plik rozkazy mog膮 zezwala膰 lub blokowa膰 dost臋p do okre艣lonych folder贸w, plik贸w czy adres贸w stron. Roboty wyszukiwania wiedz膮 wi臋c, kt贸re podstrony witryny maj膮 by膰 przez nie indeksowane, a kt贸re nie. Plik ten jednak nie do ko艅ca jest skuteczny, niekt贸re boty mog膮 go ignorowa膰, np. sprawdzaj膮ce zabezpieczenia stron WWW, albo automatycznie zbieraj膮ce dane o u偶ytkownikach sieci.