Jest to tag umożliwiający określenie pewnych wytycznych dla robotów wyszukiwarek internetowych a więc pełni on podobną rolę jak plik robots.txt. Z jego pomocą możemy zarówno określić czy roboty wyszukiwarek mają indeksować stronę (noindex, index) jak i czy powinny podążać za linkami jakie na niej znajdą (nofollow, follow). Brak tego tagu jest traktowany przez roboty jako przyzwolenie na pełne indeksowanie strony (dotyczy przypadku w którym pliku robots.txt nie ma lub nie zawiera żadnych wytycznych dla robotów). Należy pamiętać o tym, że tag robots odnosi się tylko do konkretnej podstrony na której został umieszczony umożliwiających dla niej określenie indywidualnych wytycznych dla robotów. Dlatego w przypadku rozbudowanych serwisów i chęci globalnego ustalenia zasad dotyczących choćby indeksowania wszystkich jego podstron znacznie wygodniejsze jest wykorzystanie pliku robots.txt.
przykłady zastosowania meta tagu robots:
<meta name="Robots" content="noindex, nofollow" /> – jest to sugestia dla robotów wyszukiwarek aby nie indeksowały strony i nie podążały za linkami na niej umieszczonymi.
<meta name="googlebot" content="noindex, nofollow" /> – działanie jest niemal identyczne jak we wcześniejszym przykładzie, jedyna różnica jest taka że w tym przypadku są to wytyczne tylko dla robotów wyszukiwarki Google.
Parametry tagu robots:
- all
- follow
- index
- noarchive
- nofollow
- noimageindex
- noindex
- none
- noodp
- nosnippet
