Jest to rodzaj skryptu, którego zadaniem jest odwiedzanie stron internetowych i zbieranie konkretnych informacji. W przypadku robotów wyszukiwarek witryny są odwiedzane w celu gromadzenia informacji o nich na potrzeby indeksu wyszukiwarek. Roboty do poruszania się w obrębie danej strony a także pomiędzy różnymi serwisami internetowymi wykorzystują linki.
Dlatego właśnie w przypadku rozbudowanych stron tak ważne jest odpowiednie linkowanie wewnętrzne, które ułatwia znacznie robotowi dotarcie do podstron znajdujących się głęboko w strukturze witryny. Na zachowanie robota wyszukiwarki możemy wpływać przy pomocy pliku robots.txt a także tagu robots choć nie wszystkie roboty biorą pod uwagę zawarte w nich wytyczne.
