Crawler, pająk, robot, pełzacz – to popularne określenia tego samego programu, wykorzystywanego m.in. przez wyszukiwarki. Z tego artykułu dowiesz się, jak działa Crawler.
Co to jest Crawler?
Termin Crawler (ang.) pochodzi od czasownika to crawl, czyli pełzać, czołgać się. Stąd w j. polskim często określa się go mianem pełzacza. Nazywamy go też pająkiem, gdyż porusza się po Sieci za pomocą linków.
Pająk to nic innego jak robot, którego celem jest badanie witryn, a dokładniej:
- analiza kodu strony www;
- zbieranie danych o strukturze i zawartości strony;
- monitorowanie zmian;
- aktualizacja indeksu.
Pełzacze w sposób automatyczny pobierają istotne dane z witryn. Służą one przede wszystkim wyszukiwarkom, które na ich podstawie pokazują użytkownikom wyniki najlepiej dopasowane do zapytań.
Kto używa robotów indeksujących?
Najpopularniejszym Crawlerem jest robot indeksujący Google, czyli Googlebot. Bazuje on na mapach witryn, przygotowanych podczas poprzedniego skanowania i wykonuje dwa rodzaje operacji:
- Deep crawl – dogłębną analizę strony www, polegającą m.in. na sprawdzeniu kodu źródłowego, profilu linkowego;
- Fresh crawl – analizę zmian w zawartości witryny, która jest często aktualizowana. Przykładem może być serwis informacyjny czy blog. W tym celu Google Crawler podejmuje działania nawet kilka razy dziennie, dzięki czemu użytkownicy otrzymują zawsze aktualne i trafne wyniki wyszukiwania.
Roboty indeksujące to także narzędzie specjalistów SEO, dbających o optymalizację witryn pod silniki wyszukiwarek. W takim przypadku do głównych zadań pająka należą np.:
- weryfikacja treści pod kątem ich duplikacji;
- badanie przekierowań;
- odnajdywanie stron bez lub z małą ilością treści;
- wyszukiwanie ewentualnych błędów, które mogą obniżyć wydajność witryny.
Crawler: przykłady
Do najczęściej używanych botów indeksujących, funkcjonujących komercyjnie lub na zasadach open source, zaliczymy m.in. Screaming Frog, SEMrush, Ahrefs, Sitebulb, OpenSearchServer i Scrapy.
Chcesz, by o Twój marketing zadbali specjaliści? Napisz do nas i dowiedz się, jak możemy Ci pomóc!
