Indeksowanie strony w Google

Indeksowanie strony w Google – jak przebiega ten proces, ile trwa i czy można go przyspieszyć?

Wyszukiwarka Google jest dla wielu właścicieli witryn głównym źródłem pozyskiwania ruchu na stronę. To, jak szybko dany adres pojawi się w wynikach wyszukiwania, może mieć realny wpływ na nasz biznes. M.in. dlatego warto wiedzieć, jak przebiega proces indeksowania oraz czy można go przyspieszyć. 

Jak przebiega indeksowanie strony?

Dodawanie stron do indeksu oraz wyświetlanie wyników wyszukiwania to złożony i w pełni zautomatyzowany proces. Google dzieli go na trzy podstawowe etapy:

  • Skanowanie: Roboty indeksujące nieustannie przeszukują sieć w celu odnalezienia nowych adresów URL. Znajdują je na wiele różnych sposobów, m.in. wykorzystując mapy witryn zgłoszone w Google Search Console czy przechodząc do nich z wcześniej poznanych już stron. Gdy nowa strona, lub ta która została zaktualizowana, zostanie wykryta, jej zawartość jest skanowana.
  • Indeksowanie: Drugi etap polega na analizie zawartości serwisu, zarówno jej treści, jak i struktury kodu. Uzyskane w ten sposób dane są przechowywane w indeksie, czyli bazach danych Google.
  • Wyświetlanie wyników: Wyszukiwarka Google stara się wyświetlać wyniki o najwyższej jakości, dlatego ich dobór zależy od wielu czynników. Poza jakością danej witryny, kluczowa będzie, m.in. lokalizacja użytkownika, jego język czy urządzenie, z którego korzysta (komputer czy urządzenie mobilne). Określenie pozycji danej witryny odbywa się przy pomocy algorytmów.

Budżet crawlowania a tempo indeksacji

Jednym z kluczowych zagadnień, które nierozłącznie wiąże się z tempem indeksacji stron, jest budżet crawlowania (ang. crawl budget). Możemy go zdefiniować jako miarę, która decyduje o tym, jak często roboty indeksujące odwiedzą naszą stronę oraz jak długo będą na niej przebywać.

Czynnikami, które wpływają na wykorzystanie budżetu crawlowania, są przede wszystkim strony o niskiej wartości. Strony takie są np. efektem indeksowania wyników nawigacji fasetowej. Inne przykłady to:

  • powielone treści w witrynie,
  • strony pozornych błędów,
  • zhakowane strony,
  • treści o niskiej jakości i spam.

Wpływ nawigacji fasetowej na budżet crawlowania

Nawigacja fasetowa jest jednym z elementów, który ma negatywny wpływ na budżet crawlowania. Czym jest dokładnie? 

Jest to rodzaj nawigacji, który pozwala ograniczyć lub sortować pozycje wg określonych cech. Jest ona wykorzystywana np. w sklepach internetowych, gdzie odpowiedni wybór filtrów zawęża wyniki wyszukiwania do produktów, których użytkowników szuka.

Jednym z minusów wykorzystania tego typu nawigacji z punktu widzenia SEO jest wygenerowanie tysięcy, a często i milionów wersji podobnych stron o różnych wariantach, które nie powinny być zindeksowane. Powoduje to, że roboty zamiast przemierzać właściwe strony, kierują się na te wygenerowane za pomocą filtrów wyszukań, co wykorzystuje budżet crawlowania i spowalnia proces indeksacji.

Jak poprawić tempo indeksowania strony?

Największy wpływ na tempo indeksacji mamy my, czyli właściciele stron. To w dużej mierze od naszych działań będzie zależało, czy roboty Google odwiedzą naszą stronę, a jeżeli tak, to jak często będą to robić. Co warto zrobić aby zachęcić roboty do odwiedzenia naszej strony?

  • Wygenerowanie mapy strony: Jest to plik, najczęściej w formacie xml, który zawiera listę adresów URL naszego serwisu. Dzięki niemu roboty indeksujące będą mogły łatwiej dotrzeć do stron, na których zindeksowaniu nam zależy.  Warto jednak pamiętać, że samo wygenerowanie pliku mapy to nie wszystko. Należy go jeszcze zgłosić w Google Search Console. Zobacz: Jak stworzyć mapę witryny? i artykuł, w którym wyjaśniamy, w jaki sposób zgłosić mapę strony: Jak dodać stronę do Google?
  • Logiczna struktura zawartości serwisu: Tworząc strukturę strony powinno nam zależeć, aby jej hierarchia była przemyślana i wygodna dla użytkowników. Dlatego już przy projektowaniu serwisu warto przemyśleć strukturę kategorii oraz podkategorii. Należy również sprawdzić, czy ważne dla nas podstrony nie są głęboko schowane w strukturze. Przy niewielkich stronach dotarcie do istotnych podstron nie powinno wymagać więcej niż trzech kliknięć.
  • Szybkość działania serwisu: Szybko działająca strona nie tylko poprawia komfort jej użytkowania, ale również przekłada się na tempo indeksacji strony. Zoptymalizowany kod witryny oraz stabilny serwer pomagają Googlebotom pobrać więcej treści w ramach tej samej liczby połączeń. Strony ciężkie, przeładowane kodem, działające na niewydajnych serwerach, będą wolniej indeksowane z uwagi na wykorzystanie budżetu crawlowania.
  • Częstotliwość dodawania treści: Regularne dodawanie nowych treści na stronę lub aktualizowanie już istniejących są jasnym sygnałem dla robotów, aby odwiedzały daną witrynę częściej.
  • Zablokowanie indeksowania wyników nawigacji fasetowej: Tak jak już wcześniej wspomnieliśmy, nawigacja fasetowa potrafi wygenerować tysiące, a często nawet i miliony adresów, które nie powinny być zindeksowane. Dlatego tak ważne jest ich zablokowanie przed robotami Google. Możemy to zrobić np. w plik robots.txt, dodając do niego odpowiednie dyrektywy. Pomocne również może okazać się narzędzie Google Search Console, w którym możemy określić znaczenie poszczególnych parametrów adresów URL oraz zdecydować, co Google ma z nimi robić. Aby skorzystać z tej funkcjonalności, należy z menu Google Search Console wybrać “Starsze raporty i narzędzia”, a następnie “Parametry w adresach URL”.

Ręczne zgłaszanie adresów

Jeżeli pomimo zastosowania powyższych porad, tempo indeksacji twojej strony nadal jest niezadowalające, to możesz spróbować zgłosić ją ręcznie. Przy pomocy narzędzia do sprawdzania adresów URL w Google Search Console, możemy poprosić roboty indeksujące, by odwiedziły pojedynczą stronę. Dzięki temu narzędziu możemy również wysłać prośbę o przeindeksowanie zawartości strony, która się zmieniła.

Jak dodać stronę do wyszukiwarki Google w Google Search Console

Aby to zrobić, musimy na początku zweryfikować naszą domenę, czyli udowodnić Google, że jestesmy jej właścicielem. Jeżeli weryfikacja będzie pozytywna, uzyskamy dostęp do Google Search Console. Następnie w zakładce „Sprawdzanie adresu URL” podajemy, jaki adres chcielibyśmy, aby roboty Google odwiedziły.Niestety, nawet ręczne zgłoszenie adresu nie daje nam gwarancji, że strona pojawi się w wynikach wyszukiwania. O tym jak sprawdzić, czy strona została zindeksowana, piszemy w jednym z naszych poprzednich artykułów: Jak sprawdzić, czy strona działa i prawidłowo się indeksuje?