Strony internetowe pojawiają się w wyszukiwarkach internetowych na konkretne zapytanie. Jest to możliwe dzięki indeksacji przeprowadzonej przez boty. Jeżeli programy wyszukiwarek określą tematykę strony jako inną od zamierzonej przez autora – co dzieje się na przykład poprzez wskazania na stronę przez inne strony – witryna może wyświetlić się na dalszej pozycji, mimo wpisania zapytania dokładnie

Bot wyszukiwarki (tzw. crawler) to program śledzący i zbierający dane o treściach, strukturze i stronach zlokalizowanych w internecie. Bada zawartość strony i sposoby łączenia się podstron za pomocą wskazań (podlinkowań). Dzięki temu jest w stanie określić tematykę strony i odpowiednio ulokować ją w wyszukiwarce.

Indeksowanie przez wyszukiwarki to proces analizy zawartości plików (np. w formatach html, pdf…) przez roboty internetowe. Gromadzone dane dotyczą tekstu i innych elementów (np. obrazów). Dzięki temu wyszukiwarki są w stanie skojarzyć hasła z odpowiednimi stronami i zwrócić wyniki spośród milionów stron w ułamkach sekund.

Mapa strony przeznaczona jest dla robotów wyszukiwarek i zawiera treści wskazane przez nas do indeksacji strony. Pomimo ciągłych prac nad algorytmami robotów nie są one doskonałe i mogą przeoczyć niektóre z podstron. Dzięki zastosowaniu mapy strony wskazuje się wyszukiwarkom strukturę witryny, co ogranicza liczbę potencjalnych pominięć.

Mapa strony to dokument (w formacie XML) w którym zawarta jest lista stron składających się na witrynę. Może zawierać również przydatne metadata opisujące treści zawarte na stronach, teksty, filmy i grafikę.