Spis treści
- Co to jest crawl budget?
- Crawl Rate Limit
- Crawl Demand
- Jakie czynniki mają wpływ na crawl budget?
- Przydatne narzędzia do analizy
- Google Search Console
- Screaming Frog SEO Spider
- Screaming Frog LogFile Analyzer
- Senuto
- Dbanie o własny crawl budget
- Jak zwiększyć crawl budget?
- Podsumowanie
Jednym z głównych narzędzi, jakie pomagają w zdobywaniu wiadomości przez konsumentów, jest z pewnością wyszukiwarka. Znany nam wszystkim Google dysponuje bogatą bazą treści, które może proponować jako odpowiedź na pytanie dręczące użytkownika. Aby znaleźć się w gronie tych „odpowiedzi”, dana strona musi zostać zaindeksowana, do czego niezbędna jest wiedza o crawl budget.
Co to jest crawl budget?
Zacznijmy od początku: pojęcie to nawiązuje do crawlingu, który polega na wysyłaniu przez Google swoich botów znanych również jako GoogleBoty lub Google Spidery w celu zbadania Twojej strony internetowej oraz późniejszego jej zaindeksowania. Interesującymi kwestiami dla botów są głównie struktury, kody źródłowe oraz treści.
Po wykonaniu tego procesu zawartość Twojej witryny znajdzie się w indeksie Google. Dlatego bardzo ważne jest, aby Google mógł w łatwy sposób znaleźć wszystkie należące do Ciebie strony – w tym celu tworzy się tzw. sitemap pozwalający na łatwe przemieszczanie się pomiędzy linkami.
Pojęcie crawl budget mówi o tym, jak chętnie boty przeprowadzają proces indeksowania danej witryny. Poziom chęci określa się na podstawie tego, jak często mogą indeksować stronę internetową. W przypadku regularnego indeksowania strona pojawia się w Google znacznie częściej. Ogólnie rzecz biorąc samo określenie crawl budget wzięło się z dwóch innych pojęć, które wyjaśnimy poniżej.
Crawl Rate Limit
Limit został wprowadzony w celu ograniczenia ilości stron, jakie indeksuje Google w krótkim czasie. To działanie ma zapobiegać prawdopodobnym przeciążeniom serwera witryny. Limit powstrzymuje Google przed wysłaniem zbyt wielu zapytań, które miałyby szansę spowodować spowolnienie działania Twojej strony internetowej. Crawl Rate Limit można zmienić w Google Search Console. Warto jednak pamiętać, że na jego wysokość wpływa nie tylko ustawiona wartość.
Crawl Rate Limit może zależeć od szybkości strony internetowej. Jeżeli dana witryna jest zbyt wolna bądź czas odpowiedzi serwera jest za długi, tempo całego procesu spada. W takim przypadku Google przeprowadza analizę jedynie na kilku Twoich stronach. W przypadku, kiedy dana witryna odpowiada optymalnie bądź szybko, to limit również wzrasta w miarę zwiększania się jej prędkości.
Crawl Demand
Drugim elementem wartym wspomnienia jest z pewnością Crawl Demand. Jeżeli zapotrzebowanie na indeksowanie Twojej strony internetowej nie jest zbyt wysokie, to boty Google będą unikać ich crawlingu. Google określa, że aktualny oraz popularny content cieszy się znacznie wyższą wartością tego współczynnika. Zależy on także od popularności strony internetowej oraz jakości i aktualności znajdujących się na niej treści.
Łącząc ze sobą dwa powyższe pojęcia składające się na crawl budget można zdefiniować go jako liczbę stron bądź adresów URL należących do danej witryny, które bot Google chce poddać crawlingowi po uwzględnieniu Crawl Rate Limit oraz Crawl Demand.
Jakie czynniki mają wpływ na crawl budget?
Powyższe współczynniki nie są jednak jedynymi, które należy wziąć pod uwagę pracując z budżetem crawlowania. Należy także uwzględnić kwestie takie jak:
- linkowanie wewnętrzne;
- Thin Content;
- serwer oraz jego wydajność;
- kody odpowiedzi serwera (co oznacza, że im więcej adresów posiada przekierowanie 301 lub błędy 404 bądź 410, tym bardziej zmniejsza się skuteczność indeksowania strony);
- nawigacja fasadowa, parametry w adresach oraz identyfikatory sesji.
Warto także przyjrzeć się, które z katalogów oraz stron są najczęściej odwiedzane. Najskuteczniejszym indeksowaniem mogą cieszyć się części, które posiadają najbardziej wartościową treść.
Przydatne narzędzia do analizy
Crawl budget trudno ze sobą porównywać, dlatego powstało kilka wartościowych narzędzi, które umożliwiają zebranie niezbędnych danych i ich późniejszą analizę. Dzięki nim możesz oszacować podejście robotów Google do Twojej strony internetowej.
Google Search Console
Google umożliwia zdobycie szczegółowych raportów o nazwie Index Coverage, czyli stan indeksu oraz statystyki indeksowania. Dzięki nim możesz dokładnie przeanalizować swój budżet crawlowania i dowiedzieć się, czy powinieneś wprowadzić zmiany na swojej stronie internetowej.
Screaming Frog SEO Spider
To wartościowe narzędzie zewnętrze wykorzystywane do analizy, które zasymuluje proces, w jakim boty poruszają się po danej stronie internetowej. Dzięki temu możesz odpowiednio i szybko zweryfikować crawling Google botów na wszystkich należących do Ciebie adresach URL.
Screaming Frog LogFile Analyzer
Pozwala na przeglądanie zidentyfikowanych Google Botów oraz analizowanie logów serwerowych. Logi serwerowe to rejestr zdarzeń lub plik dziennika utworzone w chronologicznej kolejności. Możesz dowiedzieć się z niego o zdarzeniach i działaniach dotyczących konkretnego systemu informatycznego, komputera, serwera lub w tym przypadku strony www.
Senuto
Jest to narzędzie służące do monitorowania widoczności strony w wyszukiwarce Google. Raporty można znaleźć w kategorii Analiza widoczności. Senuto umożliwia również dostęp do bazy słów kluczowych, a także porównywanie witryn między sobą.
Dbanie o własny crawl budget
Dbanie crawl budget można podzielić na kilka etapów. Pierwszym z nich jest pozwolenie na indeksację najważniejszych stron witryny w pliku robots.txt. Zadaniem pliku jest przekazywanie informacji do robotów wyszukiwarki odnośnie plików i stron, które mają zostać indeksowane. Można zarządzać nim za pomocą narzędzi do audytu witryn lub ręcznie.
Warto także uważać na łańcuchy przekierowań. Jeżeli posiadasz dużą witrynę to niemal niemożliwe jest, aby nie wykorzystać żadnego przekierowania (302, 301). Należy pamiętać, że przekierowania połączone ze sobą łańcuchami mogą w danym momencie stać się powodem zatrzymania indeksacji. Co prawda niewielka liczba przekierowań nie powinna wpłynąć na prawidłowość funkcjonowania strony internetowej, jednak mimo to warto podczas ich obecności kontrolować jej działanie.
Źródło: www.unsplash.com
Jedną z ważniejszych kwestii jest również uważanie na pojawianie się błędów 404 lub 410. Oprócz negatywnego wpływu na crawl budgetzjawisko to powoduje również obniżenie jakości user experience, czyli odbioru strony internetowej przez użytkownika. Kiedy pojawiają się błędy, można rozwiązać sytuację naprawą kodów ze statusu 4xx i 5xx. W tym celu warto także skłonić się ku wyżej wspomnianemu narzędziu Screaming Frog, które umożliwia wykonanie audytu witryny.
Osobne adresy URL są liczone jako osobne strony internetowe, co marnuje crawl budget. Aby temu zapobiec należy dodać wszystkie swoje adresy URL do konta w Google Search Console, dzięki czemu bot nie uzna, że dana strona odznacza się powieloną treścią.
Warto także aktualizować site map – boty Google będą mieć prostszy dostęp do witryn i skróci się czas zrozumienia kierunku danych linków wewnętrznych. Pamiętaj również, aby korzystać z adresów kanonicznych, czyli odpowiadających URL stronie głównej.
Jak zwiększyć crawl budget?
Analiza crawl budget do złożony proces polegający na znalezieniu wszystkich decydujących o nim czynników. Aby skutecznie go przeprowadzić, należy skrupulatnie wykorzystać dostępne informacje oraz narzędzia pozwalające na wdrożenie optymalizacji na najwyższym poziomie.
Dla początkujących najlepszym sposobem na dostęp do informacji dotyczących indeksowania strony internetowej przez Google jest Google Search Console. Najskuteczniejszymi metodami na powiększenie budżetu crawlingu są między innymi:
- zbudowanie strony internetowej w odpowiedni sposób oraz zredukowanie liczby występujących na niej błędów;
- zdobywanie linków dla PR-u;
- ograniczenie przekierowań na stronie internetowej;
- zablokowanie sekcji zbędnych dla Google w pliku robots.txt.
Powyższe elementy mają pozytywny wpływ na crawl budget, przez co mogą okazać się doskonałym sposobem na poprawę indeksowania stron przez Google.
Źródło: www.unsplash.com
Podsumowanie
Optymalizowanie crawl budget znacznie zwiększa widoczność w wyszukiwarce Google. Jest to doskonały sposób na pomnożenie ilości użytkowników odwiedzających stronę, a w rezultacie znacznie większa liczba potencjalnych klientów. Optymalizację zaleca się w szczególności sklepom internetowym, których widoczność ma ogromny wpływ na ich funkcjonowanie. Oczekujesz profesjonalnej usługi zwiększającej widoczność swojej strony internetowej? Zgłoś się do nas i sprawdź sam, jak #dostarczamyklientów!