Indeksowanie stron internetowych
Indeksowanie stron to proces analizy dokumentów w Internecie, realizowany przez programy zwane robotami indeksującymi. Ich zadaniem jest zbieranie informacji o treści zawartej w dokumentach, takich jak wyrazy i grafiki, które są następnie umieszczane w bazach danych. Dzięki temu wyszukiwarki internetowe mogą szybko przeszukiwać miliardy dokumentów i dostarczać wyniki w krótkim czasie.
Roboty indeksujące odwiedzają strony internetowe na różne sposoby. Mogą trafiać na adresy URL za pośrednictwem linków lub poprzez mapy witryn w narzędziach takich jak Google Search Console. Po analizie i pobraniu zasobów, strona staje się widoczna w wynikach wyszukiwania. Brak indeksacji konkretnej podstrony oznacza, że nie będzie ona wyświetlana w wynikach zapytań użytkowników.
Blokowanie indeksowania
Nie wszystkie adresy URL w danej domenie powinny być indeksowane. Przykłady to koszyki w sklepach internetowych czy zasoby dostępne jedynie po zalogowaniu. W takich przypadkach administratorzy mogą zablokować indeksowanie wybranych adresów URL. Można to zrobić na dwa sposoby:
- Umieszczając atrybut
noindexw sekcji<head>strony internetowej. - Używając pliku
robots.txt, aby poinformować roboty indeksujące o wykluczeniu danego adresu URL z indeksacji.
