Co to jest robots.txt?

Jest to plik tekstowy, poprzez który twórcy stron internetowych mogą wydawać polecenia robotom wyszukiwarki. W tym celu plik robots.txt trzeba umieścić w katalogu głównym domeny na serwerze danej witryny. Wydawane przez ten plik rozkazy mogą zezwalać lub blokować dostęp do określonych folderów, plików czy adresów stron. Roboty wyszukiwania wiedzą więc, które podstrony witryny mają być przez nie indeksowane, a które nie. Plik ten jednak nie do końca jest skuteczny, niektóre boty mogą go ignorować, np. sprawdzające zabezpieczenia stron WWW, albo automatycznie zbierające dane o użytkownikach sieci.