Roboty internetowe i indeksujące
Roboty internetowe, znane również jako roboty indeksujące, to programy zbierające informacje o strukturze i treści stron internetowych. Ich funkcje różnią się w zależności od przeznaczenia. Przykłady działań robotów to:
- badanie zawartości witryny,
- sprawdzanie kodu strony,
- zbieranie dodatkowych informacji o stronie,
- monitorowanie aktualizacji,
- tworzenie mirrory stron.
Robot Google, znany jako Googlebot, wykonuje różne rodzaje indeksowania. Regularne indeksowanie odbywa się często, nawet kilka razy dziennie, gdy robot sprawdza zmiany na stronie. Głębokie indeksowanie ma miejsce rzadziej, kilka razy w miesiącu, i polega na pobieraniu większej ilości danych z witryny.
Nazwy używane wymiennie
- bot indeksujący,
- pająk,
- pełzacz,
- wanderer – od pierwszego robota indeksującego hipertekst.
Blokada dostępu dla robotów internetowych
Administratorzy stron internetowych mają możliwość zablokowania dostępu robotom indeksującym. W takim przypadku dany adres URL nie jest skanowany, co skutkuje jego brakiem w indeksie oraz wynikach wyszukiwania, na przykład w Google. Blokada dostępu jest realizowana poprzez konfigurację pliku robots.txt.
Linki zewnętrzne
Kategoria: Wyszukiwarki internetowe
