Jest to swojego rodzaju baza danych wykorzystywana przez algorytmy wyszukiwarki Google do prezentowania nam jak najlepszych wyników wyszukiwania. Zasoby tej bazy są stale poszerzane dzięki pracy specjalnych robotów przemierzających witryny internetowe w celu dodania do indeksu nowych treści (zaindeksowania ich).
W pewnych przypadkach strona internetowa może zostać całkowicie usunięta z indeksu. Jedną z możliwości jest otrzymanie bana za rażące naruszenie wytycznych wyszukiwarki. Można też wykorzystać plik robots.txt lub nagłówek strony do umieszczenia specjalnych wytycznych dla robotów dzięki czemu zabronimy im indeksowania strony. Jeśli była ona już w indeksie to w wyniku takiego działania zostanie po pewnym czasie z niego usunięta.
