Strony internetowe pojawiają się w wyszukiwarkach internetowych na konkretne zapytanie. Jest to możliwe dzięki indeksacji przeprowadzonej przez boty. Jeżeli programy wyszukiwarek określą tematykę strony jako inną od zamierzonej przez autora – co dzieje się na przykład poprzez wskazania na stronę przez inne strony – witryna może wyświetlić się na dalszej pozycji, mimo wpisania zapytania dokładnie opisującego jej treści. Aby tego uniknąć należy pilnować poprawnej indeksacji, między innymi zachowując spójną strukturę podlinkowań na samej witrynie, stosując metadata, metatagi w kodzie strony i mapy witryny.

Bot wyszukiwarki (tzw. crawler) to program śledzący i zbierający dane o treściach, strukturze i stronach zlokalizowanych w internecie. Bada zawartość strony i sposoby łączenia się podstron za pomocą wskazań (podlinkowań). Dzięki temu jest w stanie określić tematykę strony i odpowiednio ulokować ją w wyszukiwarce.

Indeksowanie przez wyszukiwarki to proces analizy zawartości plików (np. w formatach html, pdf…) przez roboty internetowe. Gromadzone dane dotyczą tekstu i innych elementów (np. obrazów). Dzięki temu wyszukiwarki są w stanie skojarzyć hasła z odpowiednimi stronami i zwrócić wyniki spośród milionów stron w ułamkach sekund.

Mapa strony przeznaczona jest dla robotów wyszukiwarek i zawiera treści wskazane przez nas do indeksacji strony. Pomimo ciągłych prac nad algorytmami robotów nie są one doskonałe i mogą przeoczyć niektóre z podstron. Dzięki zastosowaniu mapy strony wskazuje się wyszukiwarkom strukturę witryny, co ogranicza liczbę potencjalnych pominięć.

Mapa strony to dokument (w formacie XML) w którym zawarta jest lista stron składających się na witrynę. Może zawierać również przydatne metadata opisujące treści zawarte na stronach, teksty, filmy i grafikę.