Bot wyszukiwarki (tzw. crawler) to program śledzący i zbierający dane o treściach, strukturze i stronach zlokalizowanych w internecie. Bada zawartość strony i sposoby łączenia się podstron za pomocą wskazań (podlinkowań). Dzięki temu jest w stanie określić tematykę strony i odpowiednio ulokować ją w wyszukiwarce.
Czym są roboty wyszukiwarek?
