W pliku tym zamieszczamy wszelkie wytyczne dla robotów wyszukiwarek internetowych dotyczące tego w jakim zakresie powinna być indeksowana strona internetowa. Plik ten powinien być umieszczony w głównym katalogu domeny i dostępny pod takim adresem:
www.przykladowastrona.pl/robots.txt
Wykorzystując ten plik możemy ograniczyć indeksowanie konkretnych podstron czy wręcz całych katalogów, które naszym zdaniem nie powinny się znaleźć w indeksie wyszukiwarki. Brak tego pliku na serwerze jest traktowany przez roboty wyszukiwarek jako przyzwolenie do pełnego indeksowania całego serwisu internetowego i wszystkich jego elementów.
Należy wiedzieć, że nie wszystkie roboty wyszukiwarek stosują się do wytycznych zawartych w pliku robots.txt.
