Crawl budget - kiedy ma znaczenie i jak go nie marnować?

Crawl budget to uproszczone określenie liczby adresów URL, które Googlebot może i chce crawlować w danym serwisie. Dla małych stron firmowych zwykle nie jest to najważniejszy problem SEO. Ma znaczenie przede wszystkim przy dużych, często aktualizowanych stronach, sklepach internetowych, portalach, serwisach z tysiącami adresów, wieloma filtrami, parametrami, duplikatami, błędami 404, łańcuchami przekierowań i niskiej jakości stronami. Najważniejsza zasada: Googlebot powinien trafiać jak najszybciej do wartościowych, indeksowalnych i aktualnych URL-i, a nie tracić czas na śmieciowe adresy.

Crawl budget brzmi jak zaawansowany temat technicznego SEO.

I faktycznie jest techniczny.

Ale problem, który opisuje, jest bardzo prosty.

Czy Googlebot poświęca swój czas na właściwe strony w Twoim serwisie?

Jeśli masz małą stronę firmową z 20 podstronami, crawl budget prawdopodobnie nie jest Twoim największym problemem.

W takim przypadku ważniejsze będą:

• podstrony usługowe,
• treści,
• lokalne SEO,
• Google Business Profile,
• title i meta description,
• linkowanie wewnętrzne,
• konwersja,
• szybkość strony,
• indeksacja najważniejszych URL-i.

Ale jeśli masz sklep internetowy, portal, katalog, serwis ogłoszeniowy, blog z tysiącami wpisów, stronę z filtrowaniem albo duży serwis po wielu migracjach, crawl budget może stać się realnym problemem.

Googlebot może tracić czas na:

• duplikaty,
• parametry URL,
• sortowanie,
• filtry bez wartości SEO,
• stare adresy,
• przekierowania,
• 404,
• soft 404,
• strony niskiej jakości,
• archiwa i tagi bez wartości,
• nieaktualne produkty,
• adresy, których nie powinno być w sitemapie.

Efekt?

Ważne strony mogą być crawlowane wolniej.

Nowe treści mogą dłużej trafiać do indeksu.

Zmiany na stronie mogą być przetwarzane z opóźnieniem.

Google może spędzać dużo czasu na adresach, które nie mają żadnej wartości biznesowej.

Optymalizacja crawl budgetu nie polega na tym, żeby "zmusić Google do crawlowania wszystkiego". Chodzi o to, żeby nie marnować crawlowania na adresy, które nie powinny konkurować o uwagę Googlebota.

Ten poradnik pokazuje, czym jest crawl budget, kiedy faktycznie ma znaczenie, co go marnuje, jak diagnozować problem w Google Search Console i logach serwera oraz jak uporządkować duży serwis, żeby Googlebot szybciej trafiał do najważniejszych URL-i.

Crawl budget - najkrótsza odpowiedź

Najkrótsza odpowiedź:

Crawl budget ma znaczenie głównie wtedy, gdy strona ma bardzo dużo URL-i, często się aktualizuje albo generuje wiele niepotrzebnych adresów. Nie marnuj go na duplikaty, parametry, filtry, błędy 404, soft 404, łańcuchy przekierowań, strony niskiej jakości i nieaktualne adresy w sitemap.xml.

W małym serwisie firmowym crawl budget rzadko jest pierwszym problemem.

W dużym serwisie może decydować o tym, jak szybko Google:

• odkrywa nowe URL-e,
• odświeża stare treści,
• reaguje na zmiany po migracji,
• przetwarza aktualizacje produktów,
• wycofuje stare adresy z indeksu,
• rozumie strukturę strony.

Crawl budget warto optymalizować szczególnie wtedy, gdy:

• masz tysiące lub miliony URL-i,
• masz duży e-commerce,
• masz dużo filtrów i parametrów,
• publikujesz często nowe treści,
• masz dużo błędów 404,
• masz dużo przekierowań,
• Search Console pokazuje problemy z crawlowaniem,
• logi serwera pokazują, że Googlebot odwiedza nieistotne URL-e,
• ważne podstrony są rzadko crawlowane,
• nowe strony długo nie są indeksowane.

Czym jest crawl budget?

Crawl budget to pojęcie opisujące, ile adresów URL Googlebot może i chce crawlować w danym serwisie.

Nie jest to jeden prosty licznik, który można ręcznie ustawić w panelu.

To raczej wynik kilku czynników:

• wydajności serwera,
• reakcji strony na crawlowanie,
• jakości i popularności treści,
• częstotliwości zmian,
• struktury linkowania,
• liczby adresów URL,
• duplikacji,
• błędów technicznych,
• historii crawlowania serwisu.

Najprościej:

Crawl budget = ile Googlebot może crawlować + ile Googlebot chce crawlować

Googlebot nie musi odwiedzać każdej strony codziennie.

Nie każda strona ma taką samą wartość.

Nie każdy URL zasługuje na częste crawlowanie.

Strona główna dużego portalu może być crawlowana często.

Stary tag bez ruchu i bez linków może być crawlowany bardzo rzadko.

Produkt niedostępny od 3 lat może nie być priorytetem.

Nowa kategoria sprzedażowa powinna być łatwa do odkrycia.

Crawl budget nie jest więc celem samym w sobie.

Celem jest to, żeby Googlebot efektywnie trafiał do stron, które mają znaczenie dla widoczności i biznesu.

Crawl budget a crawl rate i crawl demand

Żeby dobrze zrozumieć crawl budget, trzeba rozróżnić dwa pojęcia:

• crawl rate,
• crawl demand.

Crawl rate oznacza, jak intensywnie Googlebot może crawlować stronę bez przeciążania serwera.

Jeśli serwer działa szybko i stabilnie, Google może mieć większą swobodę crawlowania.

Jeśli serwer zwraca błędy, ładuje się wolno albo jest przeciążony, Googlebot może ograniczyć tempo.

Crawl demand oznacza, jak bardzo Google chce crawlować dane URL-e.

Zależy to między innymi od:

• popularności strony,
• jakości treści,
• częstotliwości aktualizacji,
• ważności URL-a w strukturze serwisu,
• linkowania wewnętrznego,
• linków zewnętrznych,
• historii zmian.

Można mieć bardzo wydajny serwer, ale mały crawl demand, jeśli strona ma mało wartościowych treści.

Można też mieć duży crawl demand, ale problemy z crawl rate, jeśli serwer nie radzi sobie z obciążeniem.

Dlatego optymalizacja crawl budgetu nie polega tylko na blokowaniu URL-i.

Obejmuje też:

• jakość strony,
• wydajność serwera,
• strukturę URL,
• linkowanie,
• sitemapę,
• redukcję duplikatów,
• porządek techniczny.

Kiedy crawl budget naprawdę ma znaczenie?

Crawl budget ma największe znaczenie dla dużych i często aktualizowanych stron.

Szczególnie dla:

• dużych sklepów internetowych,
• marketplace'ów,
• portali informacyjnych,
• serwisów ogłoszeniowych,
• katalogów firm,
• stron z tysiącami produktów,
• stron z milionami kombinacji filtrów,
• stron z dużą liczbą archiwów, tagów i kategorii,
• serwisów po wielu migracjach,
• stron z dużą liczbą błędów technicznych.

Przykład:

Sklep ma 12 000 produktów, 300 kategorii, filtry po rozmiarze, kolorze, marce, cenie, materiale i dostępności. Każda kombinacja filtrów generuje osobny URL. W efekcie Googlebot może widzieć setki tysięcy adresów, mimo że realnie wartościowych SEO jest kilka tysięcy.

W takim przypadku crawl budget ma znaczenie.

Trzeba zdecydować:

• które filtry mają być indeksowalne,
• które powinny mieć canonical,
• które powinny być noindex,
• które powinny być zablokowane przed crawlowaniem,
• które URL-e mają być w sitemap.xml,
• które adresy powinny mieć linki wewnętrzne.

Bez tej kontroli Googlebot może marnować zasoby na śmieciowe kombinacje URL-i.

Kiedy crawl budget zwykle nie jest problemem?

Crawl budget zwykle nie jest największym problemem dla małych stron.

Na przykład:

• strona firmowa z 10 podstronami,
• lokalny biznes z kilkoma usługami,
• mały blog z kilkudziesięcioma wpisami,
• prosta strona ofertowa,
• landing page z kilkoma sekcjami,
• mały sklep z kilkudziesięcioma produktami.

Jeśli strona ma mało URL-i, Google zwykle nie ma problemu z jej crawlowaniem.

Wtedy większe znaczenie mają:

• czy strona jest indeksowalna,
• czy ma wartościowe treści,
• czy ma osobne podstrony usług,
• czy odpowiada na intencję użytkownika,
• czy ma poprawne title i meta description,
• czy działa szybko,
• czy ma linkowanie wewnętrzne,
• czy zdobywa opinie i lokalne sygnały,
• czy generuje konwersje.

W małej stronie częsty błąd polega na tym, że właściciel szuka problemu w crawl budget, a realny problem jest prostszy:

Strona nie ma dobrych treści, podstron usługowych, lokalnego SEO albo nie odpowiada na zapytania klientów.

Crawl budget jest ważny, ale nie warto robić z niego wymówki dla braku strategii.

Dlaczego marnowanie crawl budgetu szkodzi SEO?

Marnowanie crawl budgetu szkodzi głównie dlatego, że Googlebot traci czas na adresy, które nie mają znaczenia.

Zamiast crawlowania:

• nowych produktów,
• ważnych kategorii,
• zaktualizowanych artykułów,
• podstron usługowych,
• stron z ruchem i konwersjami,

Googlebot może crawlowować:

• parametry sortowania,
• puste filtry,
• nieaktualne tagi,
• duplikaty,
• stare URL-e po migracji,
• łańcuchy przekierowań,
• soft 404,
• strony bez wartości.

Potencjalne skutki:

• wolniejsze indeksowanie nowych URL-i,
• opóźnione odświeżanie treści,
• więcej duplikacji w indeksie,
• większy chaos w raportach GSC,
• trudniejsza analiza techniczna,
• większe obciążenie serwera,
• mniejsza kontrola nad tym, co Google widzi jako ważne.

Crawl budget jest jak uwaga Googlebota.

Nie chcesz, żeby ta uwaga była rozproszona na tysiące niepotrzebnych adresów.

Co najczęściej marnuje crawl budget?

Najczęstsze źródła marnowania crawl budgetu to:

Problem	Jak marnuje crawl budget?	Co zrobić?
Parametry URL	Tworzą wiele wersji tej samej treści	Canonical, blokada crawlowania, porządek w linkach
Filtry e-commerce	Generują tysiące kombinacji URL-i	Strategia indeksacji filtrów
Duplikaty	Googlebot crawluje podobne strony	Canonical, 301, konsolidacja treści
404 i soft 404	Google odwiedza nieistniejące lub puste strony	Naprawa linków, przekierowania, 410
Łańcuchy przekierowań	Każdy URL wymaga kilku żądań	Skrócenie przekierowań
Thin content	Dużo słabych stron konkuruje o crawlowanie	Usuwanie, łączenie, noindex, poprawa treści
Nieaktualna sitemap.xml	Google dostaje listę złych URL-i	Aktualizacja sitemap do URL-i 200 i canonical
Słabe linkowanie wewnętrzne	Ważne strony są trudne do odkrycia	Wzmocnienie linków do priorytetowych URL-i

Najważniejsze jest to, żeby nie patrzeć tylko na liczbę adresów.

Trzeba patrzeć na jakość adresów.

Duży serwis może mieć dużo URL-i i działać dobrze, jeśli struktura jest kontrolowana.

Mały serwis może mieć problem, jeśli generuje mnóstwo śmieciowych parametrów i błędów.

Duplikaty URL-i i parametry - największy pożeracz crawlowania

Parametry URL są jednym z najczęstszych źródeł problemów z crawlowaniem.

Przykłady:

/buty/
/buty/?sort=price
/buty/?sort=name
/buty/?utm_source=facebook
/buty/?sessionid=123
/buty/?color=black
/buty/?color=black&size=42
/buty/?size=42&color=black

Dla użytkownika to często ta sama lub bardzo podobna treść.

Dla Googlebota to mogą być osobne URL-e.

Jeśli takich kombinacji są tysiące, crawl budget może być marnowany.

Najczęstsze parametry problematyczne:

• sortowanie,
• filtrowanie,
• identyfikatory sesji,
• parametry śledzące,
• parametry kampanii,
• warianty widoku,
• parametry paginacji,
• parametry wyszukiwania wewnętrznego.

Możliwe rozwiązania:

• canonical do wersji głównej,
• noindex dla stron bez wartości SEO,
• blokowanie crawlowania wybranych parametrów w robots.txt,
• usunięcie linkowania do niepotrzebnych wariantów,
• porządek w parametrach i ich kolejności,
• tworzenie indeksowalnych landingów tylko dla wartościowych filtrów.

Nie ma jednej reguły dla wszystkich parametrów.

Każdy typ parametru trzeba ocenić według wartości SEO, ruchu, popytu i ryzyka duplikacji.

Filtry, sortowanie i faceted navigation w e-commerce

W e-commerce największy problem crawl budgetu często wynika z faceted navigation, czyli nawigacji po filtrach.

Przykład:

• kolor,
• rozmiar,
• marka,
• cena,
• materiał,
• dostępność,
• promocja,
• ocena,
• kolekcja,
• zastosowanie.

Same filtry nie są złe.

Problem powstaje, gdy każda kombinacja generuje indeksowalny i linkowany URL.

Przykład:

/buty?color=black
/buty?color=black&size=42
/buty?color=black&size=42&brand=nike
/buty?color=black&size=42&brand=nike&price=200-300

Niektóre filtry mogą mieć wartość SEO.

Na przykład:

• czarne buty damskie,
• buty trekkingowe męskie,
• sukienki lniane,
• karnisze metalowe czarne,
• krzesła drewniane do jadalni.

Ale większość kombinacji nie ma sensu jako osobne strony SEO.

Dlatego trzeba rozdzielić:

• filtry indeksowalne, które mają popyt i unikalną wartość,
• filtry nieindeksowalne, które są tylko funkcją UX,
• filtry, których Googlebot nie powinien crawlowować,
• filtry, które powinny wskazywać canonical do kategorii głównej.

W dużym sklepie ta decyzja ma ogromny wpływ na crawl budget.

Strony niskiej jakości i thin content

Crawl budget jest marnowany również przez strony niskiej jakości.

Chodzi o URL-e, które są indeksowalne, ale nie wnoszą realnej wartości.

Przykłady:

• puste kategorie,
• tagi z jednym wpisem,
• strony autorów bez treści,
• archiwa dat bez wartości,
• duplikaty opisów produktów,
• strony z kilkoma zdaniami i bez intencji,
• landing page'e wygenerowane masowo,
• lokalne podstrony bez unikalnej treści,
• strony wyszukiwania wewnętrznego,
• produkty niedostępne bez strategii.

Problem nie polega tylko na crawlowaniu.

Duża liczba słabych stron może utrudniać Google zrozumienie, które części serwisu są naprawdę ważne.

Możliwe działania:

• usunąć strony bez wartości,
• połączyć podobne treści,
• rozbudować ważne strony,
• dodać noindex do stron użytkowych,
• zablokować crawlowanie niepotrzebnych parametrów,
• usunąć strony z sitemap.xml,
• poprawić linkowanie wewnętrzne.

Nie chodzi o to, żeby mieć jak najmniej stron.

Chodzi o to, żeby indeksowalne strony miały sens.

Błędy 404, soft 404 i stare adresy

Błędy 404 są naturalne.

Nie każda strona 404 jest problemem SEO.

Problem pojawia się wtedy, gdy Googlebot regularnie trafia na dużą liczbę nieistniejących adresów.

Źródła 404:

• usunięte produkty,
• stare wpisy blogowe,
• zmienione URL-e bez przekierowań,
• stare linki wewnętrzne,
• stare adresy w sitemap.xml,
• błędne linki zewnętrzne,
• literówki w linkach,
• niepoprawne reguły przekierowań.

Soft 404 to sytuacja, w której strona wygląda jak brak treści lub błąd, ale technicznie zwraca status 200.

To jeszcze większy problem, bo Googlebot może crawlowować stronę, która technicznie udaje poprawną, ale nie ma wartości.

Co robić?

• popraw linki wewnętrzne prowadzące do 404,
• usuń stare URL-e z sitemap.xml,
• ustaw 301 do najlepszych odpowiedników, jeśli istnieją,
• użyj 410 dla trwale usuniętych treści bez odpowiednika, jeśli ma to sens,
• nie przekierowuj masowo wszystkiego na stronę główną,
• monitoruj raport indeksacji w GSC.

Łańcuchy przekierowań i pętle przekierowań

Przekierowania są potrzebne, ale źle ustawione mogą marnować crawl budget.

Łańcuch przekierowań:

URL A → URL B → URL C → URL D

Lepszy układ:

URL A → URL D
URL B → URL D
URL C → URL D

Każdy dodatkowy redirect to dodatkowe żądanie.

Przy kilku adresach to drobiazg.

Przy tysiącach adresów po migracji to poważny problem.

Pętle przekierowań są jeszcze gorsze:

URL A → URL B → URL A → URL B

Pętla może całkowicie uniemożliwić dotarcie do strony docelowej.

Najczęstsze źródła:

• migracje,
• zmiana HTTP na HTTPS,
• zmiana www na non-www,
• kilka wtyczek redirectów,
• reguły w hostingu i CMS jednocześnie,
• stare mapy przekierowań,
• automatyczne przekierowania po zmianie slugów.

Dobra praktyka:

Każdy stary URL powinien prowadzić bezpośrednio do aktualnego, końcowego odpowiednika.

Sitemap.xml a crawl budget

Sitemap.xml nie gwarantuje indeksacji.

Ale pomaga Google odkrywać ważne adresy.

Dlatego sitemap.xml powinna być czysta.

W sitemapie powinny znaleźć się URL-e:

• zwracające status 200,
• indeksowalne,
• kanoniczne,
• ważne dla SEO,
• aktualne,
• nieblokowane robots.txt,
• nieoznaczone noindex,
• nieprzekierowane.

W sitemapie nie powinny znajdować się:

• adresy 404,
• adresy przekierowane,
• adresy noindex,
• adresy z canonicalem do innej strony,
• parametry bez wartości SEO,
• puste kategorie,
• stare produkty bez strategii,
• duplikaty.

Sitemap.xml powinna mówić Google:

To są adresy, na których nam zależy.

Jeśli sitemap.xml zawiera śmieciowe URL-e, wysyła zły sygnał priorytetów.

Robots.txt - kiedy pomaga, a kiedy szkodzi?

Robots.txt może pomóc zarządzać crawlowaniem.

Ale trzeba używać go ostrożnie.

Robots.txt może być przydatny do ograniczenia crawlowania:

• nieistotnych parametrów,
• wyników wyszukiwania wewnętrznego,
• niektórych filtrów bez wartości SEO,
• zasobów technicznych,
• adresów generujących nieskończone kombinacje.

Ale robots.txt nie jest narzędziem do usuwania strony z indeksu.

Jeśli strona jest zablokowana w robots.txt, Google może nie móc zobaczyć jej treści, canonicala ani noindex.

Częsty błąd:

Disallow: /stara-kategoria/

A jednocześnie na tej stronie:

<meta name="robots" content="noindex">

Problem:

Googlebot może nie wejść na stronę, więc może nie zobaczyć noindex.

Dlatego trzeba rozróżnić:

• blokowanie crawlowania - robots.txt,
• blokowanie indeksacji - noindex,
• wskazywanie wersji preferowanej - canonical,
• trwałe przeniesienie strony - 301.

Noindex a crawl budget - ważna różnica

Noindex usuwa stronę z indeksu, ale nie zawsze oznacza, że Google natychmiast przestanie ją crawlowować.

Żeby Google zobaczyło noindex, musi najpierw odwiedzić stronę.

Dlatego noindex może być dobrym rozwiązaniem dla stron, które nie powinny być w wynikach, ale nie jest idealnym sposobem na ograniczenie crawlowania ogromnej liczby URL-i.

Przykład:

/search?q=buty
/search?q=buty+damskie
/search?q=buty+czarne
/search?q=buty+rozmiar+42

Jeśli takich stron są setki tysięcy, samo noindex może nie rozwiązać problemu crawlowania.

Możliwe działania:

• noindex dla stron, które są dostępne i powinny wypaść z indeksu,
• robots.txt dla obszarów, których Googlebot nie powinien crawlowować,
• usunięcie linków wewnętrznych do śmieciowych URL-i,
• canonical dla duplikatów,
• zmiana sposobu generowania URL-i.

Noindex i robots.txt rozwiązują różne problemy.

Nie należy ich używać zamiennie.

Canonical a crawl budget

Canonical pomaga przy duplikacji, ale nie zawsze ogranicza crawlowanie.

Jeśli Googlebot trafia na wiele URL-i z canonicalem do jednej wersji, nadal musi te URL-e odwiedzić, żeby zobaczyć canonical.

Przykład:

/buty?sort=price
/buty?sort=name
/buty?utm_source=facebook
/buty?color=black

Wszystkie mogą wskazywać:

<link rel="canonical" href="https://example.com/buty/">

To pomaga skonsolidować sygnały, ale nie zawsze rozwiązuje problem marnowania crawlowania, jeśli Googlebot nadal masowo odwiedza warianty.

Dlatego przy dużych serwisach canonical powinien być częścią większej strategii:

• spójne linkowanie do wersji kanonicznych,
• czysta sitemap.xml,
• ograniczenie linkowania do zbędnych parametrów,
• robots.txt dla wybranych obszarów,
• noindex tam, gdzie potrzebne,
• kontrola filtrów i sortowania.

Canonical jest sygnałem porządku.

Ale sam canonical nie zastąpi dobrej architektury URL.

Szybkość serwera i błędy 5xx

Crawl budget zależy również od tego, jak serwer reaguje na żądania Googlebota.

Jeśli serwer często zwraca błędy 5xx, działa wolno albo przeciąża się przy crawlowaniu, Googlebot może ograniczyć tempo.

Problemy serwerowe:

• 500 Internal Server Error,
• 502 Bad Gateway,
• 503 Service Unavailable,
• 504 Gateway Timeout,
• wysoki czas odpowiedzi,
• przeciążenie serwera,
• blokowanie Googlebota przez firewall,
• problemy z CDN,
• problemy z renderowaniem zasobów.

W Google Search Console warto sprawdzić:

• średni czas odpowiedzi,
• liczbę żądań crawlowania,
• problemy z hostem,
• odpowiedzi według kodu statusu,
• typy pobieranych plików.

W logach serwera warto sprawdzić:

• które URL-e odwiedza Googlebot,
• jakie statusy dostaje,
• czy często trafia na 5xx,
• czy crawl idzie w śmieciowe parametry,
• czy ważne strony są odwiedzane regularnie.

Szybki i stabilny serwer nie gwarantuje wysokich pozycji.

Ale niestabilny serwer może utrudnić efektywne crawlowanie.

Linkowanie wewnętrzne a priorytety crawlowania

Linkowanie wewnętrzne pomaga Googlebotowi odkrywać strony i rozumieć ich znaczenie.

Jeśli ważna strona jest głęboko ukryta, osierocona albo nie ma linków wewnętrznych, Google może crawlowować ją rzadziej.

Dobre linkowanie wewnętrzne:

• prowadzi do ważnych kategorii,
• wzmacnia strony usługowe,
• łączy blog z ofertą,
• ułatwia odkrywanie nowych URL-i,
• ogranicza strony osierocone,
• pokazuje hierarchię serwisu,
• pomaga kierować crawlowanie na priorytety.

Złe linkowanie:

• prowadzi do przekierowań,
• prowadzi do 404,
• linkuje do parametrów bez wartości,
• tworzy pętle filtrów,
• pomija ważne strony,
• ukrywa kluczowe URL-e kilka kliknięć od strony głównej,
• zostawia strony osierocone.

Jeśli chcesz, żeby Googlebot częściej odwiedzał konkretne strony, zadbaj o to, żeby były:

• w menu,
• w sitemap.xml,
• w linkowaniu z powiązanych treści,
• w breadcrumbach,
• w sekcjach powiązanych usług,
• w linkach z mocnych podstron.

Jak sprawdzić crawl budget w Google Search Console?

Google Search Console ma raport Statystyki indeksowania, który pomaga zrozumieć, jak Googlebot crawluje stronę.

Warto sprawdzić:

• łączną liczbę żądań,
• łączny rozmiar pobierania,
• średni czas odpowiedzi,
• odpowiedzi według kodu statusu,
• typy plików,
• cel crawlowania,
• typ Googlebota,
• problemy z hostem.

Co może niepokoić?

• dużo crawlowania URL-i 404,
• dużo crawlowania przekierowań,
• wysoki czas odpowiedzi serwera,
• dużo błędów 5xx,
• spadek liczby żądań po problemach z hostem,
• dużo crawlowania zasobów mało istotnych,
• mało crawlowania ważnych nowych stron.

GSC nie pokaże wszystkiego tak dokładnie jak logi serwera.

Ale jest świetnym miejscem do pierwszej diagnozy.

Szczególnie po:

• migracji,
• dużej zmianie struktury URL,
• wdrożeniu nowych filtrów,
• spadku indeksacji,
• problemach z serwerem,
• dużej aktualizacji sitemap.xml.

Jak analizować crawl budget w logach serwera?

Logi serwera pokazują realne wejścia Googlebota.

To najdokładniejsze źródło informacji o tym, co Googlebot faktycznie crawluje.

W logach warto sprawdzić:

• jakie URL-e odwiedza Googlebot,
• jak często odwiedza ważne URL-e,
• jakie statusy HTTP dostaje,
• ile żądań idzie do parametrów,
• ile żądań idzie do 404,
• ile żądań idzie do przekierowań,
• czy bot trafia na filtry,
• czy bot crawluje strony noindex,
• czy bot odwiedza nowe produkty lub artykuły,
• czy są problemy z czasem odpowiedzi.

Przykładowe grupowanie logów:

Typ URL-a	Udział w crawlowaniu	Ocena
Kategorie	25%	Dobrze, jeśli są priorytetem SEO
Produkty	30%	Dobrze, jeśli produkty są aktualne
Parametry filtrów	25%	Problem, jeśli filtry nie mają wartości SEO
404	10%	Do naprawy, jeśli wynika z linków wewnętrznych
Przekierowania	10%	Do skrócenia i uporządkowania

Logi pomagają odpowiedzieć na najważniejsze pytanie:

Czy Googlebot crawluje to, co naprawdę chcemy pozycjonować?

Checklista: jak nie marnować crawl budgetu?

Poniżej praktyczna checklista do audytu crawl budgetu.

Punkt kontroli	Tak/Nie	Co sprawdzić?
Czy sitemap.xml zawiera tylko URL-e 200, indeksowalne i kanoniczne?		Brak 404, noindex, redirectów i duplikatów w sitemapie
Czy Googlebot nie crawluje masowo parametrów bez wartości?		Logi serwera, GSC, crawl narzędziem SEO
Czy filtry e-commerce mają strategię indeksacji?		Indeksowalne tylko wartościowe filtry
Czy linki wewnętrzne prowadzą do końcowych URL-i?		Brak linków do 301, 404 i parametrów
Czy nie ma dużej liczby soft 404?		Puste kategorie, produkty niedostępne, cienkie strony
Czy łańcuchy przekierowań są skrócone?		Stary URL powinien prowadzić bezpośrednio do finalnego URL-a
Czy robots.txt blokuje tylko to, co powinien?		Brak blokowania ważnych sekcji i zasobów
Czy noindex nie jest używany zamiast strategii crawlowania?		Noindex wyklucza z indeksu, ale nie zawsze ogranicza crawl
Czy canonicale są spójne?		Canonical do URL-i 200, indeksowalnych i zgodnych z treścią
Czy serwer działa stabilnie?		Brak częstych 5xx i wysokiego czasu odpowiedzi
Czy ważne strony są łatwe do odkrycia?		Menu, linkowanie, sitemap.xml, breadcrumbs
Czy strony niskiej jakości są uporządkowane?		Usuwanie, łączenie, noindex lub poprawa treści

Jeśli większość odpowiedzi brzmi "nie", crawl budget może być marnowany na adresy, które nie wspierają SEO.

Plan 90 dni: jak uporządkować crawlowanie dużej strony?

Poniżej praktyczny plan porządkowania crawl budgetu w dużym serwisie.

Okres	Priorytet	Działania
Dni 1-7	Diagnoza	Analiza GSC, crawl strony, eksport sitemap.xml, sprawdzenie indeksacji i statusów HTTP
Dni 8-14	Logi serwera	Analiza URL-i odwiedzanych przez Googlebota, statusów, parametrów, błędów i przekierowań
Dni 15-25	Sitemap.xml	Usunięcie z sitemap URL-i 404, noindex, redirectów, duplikatów i niekanonicznych adresów
Dni 26-35	Parametry i filtry	Decyzja, które parametry indeksować, canonicalizować, noindexować lub blokować
Dni 36-45	Przekierowania i błędy	Naprawa 404 z linków wewnętrznych, skrócenie łańcuchów przekierowań, poprawa soft 404
Dni 46-55	Thin content	Usuwanie, łączenie, rozbudowa lub noindexowanie stron niskiej jakości
Dni 56-65	Linkowanie wewnętrzne	Wzmocnienie najważniejszych kategorii, usług, produktów i nowych treści
Dni 66-75	Robots.txt i canonicale	Uspójnienie blokad crawlowania, canonicali, sitemap i linkowania
Dni 76-90	Monitoring	Porównanie GSC, logów, indeksacji, liczby żądań, statusów i crawlowania ważnych URL-i

Po 90 dniach serwis powinien mieć:

• czystszą sitemap.xml,
• mniej duplikatów,
• mniej crawlowania parametrów bez wartości,
• mniej 404 i soft 404,
• krótsze przekierowania,
• lepsze linkowanie do priorytetowych URL-i,
• bardziej kontrolowane filtry,
• stabilniejszy serwer,
• lepszą widoczność tego, co Googlebot faktycznie odwiedza.

Najczęstsze pytania

Crawl budget nie jest problemem każdej strony. Ale w dużym serwisie może blokować wzrost.

Crawl budget nie powinien być pierwszą wymówką przy małej stronie, która nie zdobywa klientów.

Jeśli serwis ma kilkanaście podstron, zwykle trzeba zacząć od treści, struktury usług, lokalnego SEO, linkowania i konwersji.

Ale przy dużych serwisach crawl budget może być jednym z kluczowych tematów technicznego SEO.

Szczególnie wtedy, gdy Googlebot marnuje czas na:

• parametry,
• filtry,
• duplikaty,
• thin content,
• 404,
• soft 404,
• przekierowania,
• stare URL-e,
• nieaktualne sitemap.xml,
• strony bez wartości SEO.

Najważniejsze zasady:

• nie optymalizuj crawl budgetu na siłę, jeśli masz małą stronę,
• zacznij od GSC i logów serwera, jeśli masz duży serwis,
• utrzymuj czystą sitemap.xml,
• nie linkuj wewnętrznie do śmieciowych URL-i,
• kontroluj parametry i filtry,
• naprawiaj 404 i soft 404,
• skracaj łańcuchy przekierowań,
• nie blokuj ważnych sekcji przez robots.txt,
• nie używaj noindex jako zamiennika strategii crawlowania,
• wzmacniaj linkowaniem strony, które są najważniejsze biznesowo.

Dobrze zarządzany crawl budget sprawia, że Googlebot szybciej trafia tam, gdzie powinien: do wartościowych, aktualnych, indeksowalnych i biznesowo ważnych stron.