Zasadniczo istnieją dwa sposoby wyszukiwania. Pierwszy to roboty zwane robotami lub pająkami.
Wyszukiwarki wykorzystują pająki do indeksowania stron internetowych. Kiedy przesyłasz strony swojej witryny do wyszukiwarki, wypełniając ich wymaganą stronę kapitulacji, umysł pająka wyszukiwarki oznacza całą twoją witrynę. Pająk? to zautomatyzowany program uruchamiany przez system wyszukiwarek. Pająk przebywa na scenie internetowej, czyta treść na niewątpliwym ustawieniu, meta znaczników strony, a ponadto powoduje korelacje, które łączy scena. Pająk następnie zwraca całą tę historię z powrotem do centralnego depozytu, gdzie dane są indeksowane. Odwiedzi każdy link, który masz na swojej stronie i objawi te strony jako podkładkę. Niektóre pająki lubią indeksować tylko pewną liczbę stron w Twojej witrynie, więc nie spróbuj strony o 500 stronach!
Jak działają lokomotywy parowe - objaśnienie silników parowych
Przyjemność pająka okresowo przynosi zyski stronom, które mogą powstrzymać wszelkie informacje, które się zmieniły. Częstotliwość, z jaką to się dzieje, jest określana przez moderatorów wyszukiwarki.
Pająk prawie smakuje książkę, w której znajduje się spis treści, rzeczywista treść oraz linki i odnośniki do wszystkich stron, które znajdzie podczas wyszukiwania, i może indeksować nawet milion stron dziennie.
Przykład: Move, Lycos, AltaVista i Google.
Kiedy poprosisz silnik przeszukiwania, aby zlokalizował informacje, to faktycznie przeszukuje symptomy, które stworzył i nie szuka w sieci. Różne wyszukiwarki dają różne rankingi, ponieważ nie każda wyszukiwarka używa stałego algorytmu do przeszukiwania indeksów.
Jedną z rzeczy, o których skanuje algorytm wyszukiwarek, jest częstotliwość i lokalizacja słów kluczowych na stronie internetowej, ale może ona również dotyczyć sztucznego upychania słów kluczowych lub spamowania. Następnie algorytmy analizują sposób, w jaki strony łączą się z innymi stronami w sieci. Sprawdzając, w jaki sposób strony łączą się ze sobą, silnik może zarówno decydować o stronie strony, jak i słowa kluczowe powiązanych stron są podobne do słów kluczowych na stronie podstawowej..