Co to jest Crawler?
Tą nazwą określa się po prostu roboty wyszukiwarki, również Googlebot, używane do indeksowania stron internetowych. Przeszukując zasoby globalnej sieci, gromadzą wszystkie niezbędne informacje stanowiące następnie podstawę do uwzględniania witryny w wynikach wyszukiwania, czyli SERP (Search Engine Results Page). Aby strona mogła się znaleźć na liście wyników, roboty muszą przy indeksacji uwzględnić takie jej elementy jak:
- zawartość strony, czyli publikowane na niej treści;
- kod źródłowy, zarówno samej witryny, jak i dodatkowych skryptów;
- aktualizacje zamieszczanych treści.
Niekiedy, z różnych przyczyn, właściciele stron nie chcą, aby były w części lub całości indeksowane przez roboty wyszukiwarki. Aby crawlery nie miały do niej dostępu, należy odpowiednio zmodyfikować plik robots,txt, umieszczając w nim instrukcję noindex, usuwającą witrynę z wyników wyszukiwania.
A
C
- Canonical
- Case Study
- CDN (Content delivery network)
- CLV (Customer Lifetime Value)
- CMS (Content Management System)
- Content Marketing
- Copywriting
- CPA (Cost Per Action)
- CPC (Cost Per Click)
- CPM (Cost Per Mille)
- CPV (Cost Per Visitor)
- Crawler
- Crawl budget
- Cross-selling
- CSS
- CTA (Call to action)
- CTR (Click Through Rate)
D
G
- GDN (Google Display Network)
- Geotargetowanie
- Google Ads
- Google Analytics
- Google Chrome
- Google Data Studio
- Google Merchant Center (GMC)
- Google Moja Firma
- Google News
- Google Panda
- Google Pingwin
- Google Search Console
- Google Sites
- Google Tag Assistant
- Google Tag Manager
- Google Trends
- Grupa odbiorców