W tym artykule będziemy badać i analizować wpływ Robot internetowy na różne aspekty społeczeństwa. Robot internetowy jest od dawna tematem debat i kontrowersji, a jego wpływ rozciąga się na wiele dziedzin, od polityki i ekonomii po kulturę i rozrywkę. Na następnych kilku stronach sprawdzimy, jak Robot internetowy ukształtował i zmienił otaczający nas świat, a także jakie może mieć to konsekwencje w przyszłości. Od powstania do obecnej ewolucji, Robot internetowy pozostawił głęboki ślad w historii. Jesteśmy podekscytowani możliwością zagłębienia się w ten temat i odkrycia wszystkich aspektów, jakie ma do zaoferowania Robot internetowy.
Robot internetowy, robot indeksujący – program zbierający informacje o strukturze, stronach i treściach znajdujących się w internecie[1]. Efekty pracy robota mogą być różne, w zależności od jego przeznaczenia, na przykład może on skanować wybrane witryny w celu zbudowania bazy adresów e-mail, natomiast roboty zbierające treści dla wyszukiwarek działają szerzej:
W przypadku robota Google tzn. Googlebota mówi się o robotach wykonujących „Google's fresh crawl” i „Google's deep crawl” lub „Google's main crawl”. „Fresh crawl” jest wykonywany często, nawet kilka razy dziennie - robot najprawdopodobniej sprawdza co się zmieniło na stronie, „deep crawl” głębokie indeksowanie najprawdopodobniej polega na pobieraniu większej ilości danych z witryny i odbywa się kilka razy w miesiącu[2].
Administrator strony internetowej może zablokować dostęp robotom indeksującym. Wówczas adres URL nie zostanie zeskanowany, co oznacza, że nie będzie widoczny w indeksie oraz wynikach wyszukiwania wyszukiwarki, takiej jak Google. Blokada dostępu dla robota odbywa się poprzez konfigurację pliku robots.txt[3].