Google robi porządki w dokumentacji crawlerów – co się zmienia?
Google uporządkowało dokumentację crawlerów głównie przez przeniesienie części treści do nowego działu poświęconego crawlingowi, doprecyzowanie opisów wybranych user-agentów i oddzielenie ogólnych zasad dla crawlerów od bardziej szczegółowych informacji o Googlebocie. Najważniejsze jest to, że w wielu miejscach nie zmieniła się sama funkcja crawlerów, tylko miejsce i precyzja dokumentacji, choć pojawiły się też konkretne doprecyzowania techniczne, które mają znaczenie dla SEO.
FAQ
1. Co Google rozumie przez porządki w dokumentacji crawlerów?
Chodzi głównie o migrację części treści z Google Search Central do nowego działu dokumentacji crawling infrastructure oraz o doprecyzowanie opisów wybranych crawlerów i fetcherów. Google zaznaczyło, że w wielu przypadkach funkcjonalność się nie zmieniła, a zmianie uległa głównie lokalizacja i sformułowania.
2. Czy Google zmieniło działanie crawlerów, czy tylko dokumentację?
W większości przypadków Google podkreśla, że zmieniła się przede wszystkim dokumentacja, a nie samo działanie crawlerów. Dotyczy to zwłaszcza migracji stron opisujących crawlery, fetchery i zasady crawlowania.
3. Co zostało przeniesione do nowej dokumentacji crawlingowej?
Google przeniosło między innymi przegląd crawlerów i fetcherów, instrukcje weryfikacji żądań od Google, informacje o zmniejszaniu crawl rate oraz wyjaśnienia dotyczące interpretacji robots.txt.
4. Czy to ma znaczenie dla właścicieli stron?
Tak, bo łatwiej teraz znaleźć techniczne informacje o tym, jak Google crawluje strony, jak weryfikować Googlebota i jak rozumieć konkretne typy user-agentów. Sama reorganizacja może nie zmienia SEO bezpośrednio, ale ułatwia pracę techniczną.
5. Czy Google zmieniło listę crawlerów?
Tak, w ostatnich miesiącach Google aktualizowało listę crawlerów i fetcherów, na przykład dodało Google-NotebookLM do listy user-triggered fetchers.
6. Czym jest Google-NotebookLM w tym kontekście?
To jeden z user-triggered fetchers, czyli systemów pobierających treść w odpowiedzi na działanie użytkownika, a nie klasyczny crawler wyszukiwarki. Google dopisało go do oficjalnej listy takich fetcherów.
7. Czy Google doprecyzowało działanie Google Read Aloud?
Tak. Google zaktualizowało dokumentację Google Read Aloud, wyjaśniając między innymi, że używa on stateless rendering i że musi mieć dostęp do strony, aby odczytać meta tagi potrzebne do działania.
8. Czy to znaczy, że niektóre wskazówki dotyczą już nie tylko Search?
Tak. Google zaznaczyło, że część doprecyzowań ma ułatwić zrozumienie, że niektóre zasady odnoszą się nie tylko do Google Search, ale też do innych produktów Google wykorzystujących crawling lub fetchowanie treści.
9. Czy Googlebot nadal jest opisany osobno?
Tak. Googlebot ma nadal osobną dokumentację, w której wyjaśniono m.in. różnicę między Googlebot Smartphone i Googlebot Desktop oraz sposoby jego weryfikacji.
10. Czy zmieniły się zasady weryfikacji Googlebota?
Nie ma sygnału, że sama metoda weryfikacji się zmieniła. Google nadal zaleca reverse DNS lookup albo dopasowanie źródłowego IP do zakresów Googlebota.
11. Czy pojawiły się nowe informacje ważne dla technicznego SEO?
Tak, szczególnie doprecyzowania wokół limitów crawl size i zakresu działania Googlebota. To już nie tylko kwestia porządków w dokumentacji, ale też bardziej precyzyjnego opisu zachowania crawlera.
12. O jakiej zmianie limitów crawl size mówi branża?
W lutym 2026 pojawiło się branżowe zainteresowanie tym, że dokumentacja Googlebota zaczęła precyzyjniej rozróżniać limity dla Googlebota i ogólne limity dla crawlerów oraz fetcherów. To wzbudziło dyskusję, bo starsza zasada 15 MB była przez lata szeroko cytowana.
13. Czy Google oficjalnie zmniejszyło limit crawlowania do 2 MB?
Trzeba to ująć ostrożnie. Dokumentacja Googlebota zaczęła precyzyjnie opisywać limity dla niektórych wspieranych typów plików, a branża zwróciła uwagę na wartość 2 MB dla części przypadków i 64 MB dla PDF-ów. To jest bardziej doprecyzowanie dokumentacji niż prosta, jednolinijkowa zmiana reguły dla całego internetu.
14. Czy to może wpłynąć na duże strony i rozbudowane HTML-e?
Tak, szczególnie jeśli strony są bardzo ciężkie, przeładowane kodem lub treścią ponad kluczowy obszar dokumentu. Dla takich serwisów doprecyzowanie limitów może mieć praktyczne znaczenie.
15. Czy zmiany dokumentacji mają znaczenie dla robots.txt?
Tak o tyle, że dokumentacja dotycząca interpretacji robots.txt została przeniesiona i uporządkowana. Dla specjalistów technicznych to ułatwienie w znalezieniu aktualnych wyjaśnień.
16. Czy to ważne dla JavaScript SEO?
Pośrednio tak, bo Google równolegle doprecyzowuje dokumentację renderowania, crawlowania i zachowania Googlebota wobec różnych typów odpowiedzi HTTP oraz JavaScriptu. To pomaga lepiej rozumieć, co Google faktycznie renderuje i kiedy.
17. Czy Googlebot Smartphone nadal jest ważniejszy niż Desktop?
Tak, dokumentacja Googlebota nadal pokazuje dwa główne typy crawlerów Search: Smartphone i Desktop, przy czym mobilny crawler pozostaje kluczowy z perspektywy mobile-first indexing.
18. Czy te porządki wpływają na ranking?
Nie bezpośrednio. Sama reorganizacja dokumentacji nie zmienia rankingu stron, ale może wpływać na praktykę SEO, bo łatwiej zrozumieć zasady crawlowania, limity techniczne i zachowanie konkretnych crawlerów.
19. Co jest najważniejsze dla webmastera po tych zmianach?
Najważniejsze to sprawdzić aktualną dokumentację Googlebota, zasady weryfikacji żądań, limity techniczne i opis tego, które crawlery odpowiadają za Search, a które za inne usługi Google.
20. Jaki jest najważniejszy wniosek?
Google nie tyle przewraca świat crawlerów do góry nogami, ile porządkuje i doprecyzowuje to, co wcześniej było rozproszone lub uproszczone. Dla SEO najważniejsze są teraz lepsza orientacja w typach crawlerów, bardziej precyzyjne limity techniczne i jaśniejsza dokumentacja działania Googlebota. Dzięki temu SEO specjaliści mogą skuteczniej dostosowywać swoje strategie, co jest kluczowe w dynamicznie zmieniającym się świecie wyszukiwarek. Zrozumienie, dlaczego Google preferuje fora, pozwala na lepsze wykorzystanie tych platform w strategiach link buildingowych oraz angażowaniu użytkowników. W rezultacie, skupienie się na precyzyjnym targetowaniu crawlerów oraz ich preferencjach może znacząco wpłynąć na widoczność w wynikach wyszukiwania.
Liczby i statystyki
Najważniejsze daty tych porządków to 20 listopada 2025, gdy Google przeniosło znaczną część dokumentacji crawlingowej do nowego działu, oraz grudzień 2025, gdy kontynuowano migrację kolejnych treści.
W październiku 2025 Google dodało Google-NotebookLM do listy user-triggered fetchers, co pokazuje, że lista oficjalnie dokumentowanych fetcherów nadal się rozwija.
Największą dyskusję branżową wywołało doprecyzowanie limitów crawl size, gdzie dokumentacja Googlebota zaczęła wskazywać 2 MB dla części wspieranych typów plików oraz 64 MB dla PDF-ów w Google Search, podczas gdy ogólna dokumentacja crawlerów i fetcherów nadal odwołuje się do 15 MB jako domyślnego limitu w szerszym ujęciu.
Praktyczne zastosowanie
Przykład 1: techniczny audyt strony
Jeśli prowadzisz serwis z bardzo ciężkimi HTML-ami, warto sprawdzić wielkość odpowiedzi dokumentów i to, czy kluczowa treść znajduje się wysoko w kodzie. Przy bardziej precyzyjnych limitach crawl size może to mieć realne znaczenie dla indeksacji.
Przykład 2: weryfikacja ruchu w logach serwera
Po uporządkowaniu dokumentacji łatwiej rozróżnić, czy żądania pochodzą od Googlebota dla Search, czy od innego fetchera Google. To ważne przy analizie logów i decyzjach o blokowaniu ruchu.
Przykład 3: robots.txt i ograniczanie crawl rate
Administrator serwisu, który chce lepiej kontrolować crawl budget lub reagować na nietypowy ruch, ma teraz bardziej uporządkowaną dokumentację dotyczącą interpretacji robots.txt i zmniejszania crawl rate. Dzięki tym zmianom administratorzy mogą lepiej dostosowywać swoje plany działania w oparciu o aktualne potrzeby serwisu, co może korzystnie wpłynąć na ogólną widoczność w wynikach wyszukiwania. W miarę jak technologia się rozwija, pojawiają się nowe strategie pozycjonowania w erze AI, które mogą pomóc w optymalizacji treści i poprawie doświadczeń użytkowników. Właściwe zarządzanie crawl rate staje się zatem kluczowym elementem efektywnej strategii SEO.
Przykład 4: treści dla usług innych niż Search
Jeśli korzystasz z produktów Google wykraczających poza klasyczne wyszukiwanie, nowe sformułowania dokumentacji pomagają zrozumieć, że część zasad dotyczy też innych usług korzystających z fetcherów i renderowania.
Działanie crawlerów to podstawa każdej wyszukiwarki. Szacuje się, że ruch botów odpowiadających za wyszukiwanie, prześwietlanie i indeksowanie stron internetowych to – w zależności od szacunków – ok. 1/4 całego ruchu w sieci. Działanie crawlerów jest szczegółowo opisane w wytycznych. Google właśnie poinformowało o zmianie dokumentacji i nie byłoby w tym nic dziwnego, gdyby nie zakres zmian. Zmiany dotyczące crawlerów obejmują modyfikację struktury dziennika, zmniejszenie strony przeglądowej, ale także pojawienie się zupełnie nowej sekcji. Co może oznaczać nagła zmiana dokumentacji Google? Czy dodane fragmenty mają charakter porządkowy, czy przygotowują nas na poważniejsze zmiany?
Google zmienia dokumentację crawlerów
Wszystkie dokumentacje techniczne dotyczące crawlerów Google na dniach zostały gruntownie przebudowane. Dokumentacja jest bardziej obszerna i zawiera więcej informacji. Na pierwszy rzut oka widoczna jest zmiana struktury, która obecnie w dużym stopniu pozbawiona jest sekcji przeglądowej. Pojawiły się za to trzy nowe i bardziej szczegółowe sekcje.
Crawlery Google to zautomatyzowane boty, które cały czas przeszukują internet. Szacuje się, że mogą odpowiadać nawet za 1/4 całego ruchu w sieci. Każda wyszukiwarka posiada własne boty. Najpopularniejszym crawlerem Google jest Googlebot, który analizuje strony, obserwuje ich aktualizacje, sprawdza dostępność, a także bierze udział w procesie indeksacji. Crawler działa na zasadzie pobierania stron przy użyciu protokołów takich jak HTTP/1.1 oraz HTTP/2 i analizowania ich zawartości. Crawlery wysyłają żądania HTTP do serwera, otrzymują dane strony i przetwarzają je, w tym analizują HTML, CSS, JavaScript oraz inne zasoby, aby zrozumieć strukturę strony, zawarte linki i zawartość. To właśnie od tej analizy zależy, jak często crawlery odwiedzają stronę oraz jak szybko przebiega proces indeksowania nowych witryn. Działalność crawlerów można ograniczyć m.in. poprzez plik robots.txt.
Jakie zmiany wprowadza Google?
W dzienniku zmian Google wspomina jedynie o dwóch modyfikacjach, choć w rzeczywistości wprowadzono ich znacznie więcej. Najważniejsze zmiany w dokumentacji crawlerów obejmują:
- zmiana struktury dokumentacji,
- dodanie zaktualizowanego numeru dla crawlera GoogleProducer,
- dodanie informacji na temat sposobu kodowania treści,
- wprowadzenie nowej sekcji poświęconej właściwościom technicznym crawlerów.
Sekcja dotycząca właściwości technicznych zawiera całkowicie nowe treści, co może tłumaczyć również przyczyny zdecydowania się o wprowadzeniu zmian. Trudno oczekiwać, aby Google zmieniło dokumentację wyłącznie w celu zrobienia porządków i zaprezentowaniu treści w bardziej intuicyjny sposób. Mimo że sposób działania crawlerów nie uległ zmianie, podział dokumentacji na trzy osobne strony tematyczne pozwolił Google dostarczyć więcej informacji w ramach przeglądu, jednocześnie skracając główną stronę, która ma charakter przeglądowy.
Pojawiają się także nowe informacje na temat kompresji treści, co jest szczególnie istotne w kontekście dyskusji o optymalizacji technicznej stron. W jednym fragmencie dokumentacji Google czytamy: „crawlery i fetchery Google obsługują następujące metody kompresji: gzip, deflate oraz Brotli (br). Każdy agent użytkownika Google informuje o obsługiwanych metodach kompresji w nagłówku Accept-Encoding, przesłanym wraz z każdym żądaniem. Przykład: Accept-Encoding: gzip, deflate”. Co więcej, pojawiły się także zupełnie nowe informacje dotyczące crawlowania w protokołach HTTP/1.1 oraz HTTP/2, a także stwierdzenie, że celem Google jest indeksowanie jak największej liczby stron bez obciążania serwerów witryny.
3 nowe podstrony w dokumentacji crawlerów
Jak wspomnieliśmy, Google zmieniło strukturę dokumentacji i dodało dodatkowe informacje na temat crawlerów. Najnowsza wersja dokumentacji zawiera trzy nowe sekcje:
- popularne crawlery,
- crawlery o szczególnym zastosowaniu,
- fetchery wywoływane przez użytkownika.
Poniżej omówimy z osobna każdą z tych grup, sprawdzając, jakie informacje na ten temat podaje zmodyfikowana wersja dokumentacji.
Popularne crawlery
Pierwsza sekcja opisuje powszechnie wykorzystywane crawlery. Niektóre z nich są związane z Googlebotem, m.in. Google-InspectionTool, który regularnie korzysta z Googlebota. Wszystkie boty zostały wymienione w dokumentacji i wszystkie mają sztywno przestrzegać reguł strony zawartych w pliku robots.txt.
Wśród wymienionych crawlerów z pierwszej sekcji znalazły się:
- Googlebot,
- Googlebot Image,
- Googlebot Video,
- Googlebot News,
- Google StoreBot,
- Google-InspectionTool,
- GoogleOther,
- GoogleOther-Image,
- GoogleOther-Video,
- Google-CloudVertexBot,
- Google-Extended.
Crawlery specjalistyczne
Crawlery o szczególnym zastosowaniu to specjalistyczne boty powiązane z konkretnymi produktami i usługami. Ich działanie ma bazować na podstawie umów z użytkownikami. Korzystają one z innych adresów IP od tych, które są używane przez GoogleBota. Sprawia to, że identyfikacja botów jest utrudniona.
W dokumentacji Google udostępnia następującą listę crawlerów specjalistycznego zastosowania:
- AdSense – agent użytkownika dla robots.txt: Mediapartners-Google,
- AdsBot – agent użytkownika dla robots.txt: AdsBot-Google,
- AdsBot Mobile Web – agent użytkownika dla robots.txt: AdsBot-Google-Mobile,
- APIs-Google – agent użytkownika dla robots.txt: APIs-Google,
- Google-Safety – agent użytkownika dla robots.txt: Google-Safety.
Fetchery
Sekcje dotycząca fetcherów wywołanych przez użytkownika dotyczy botów aktywowanych na żądanie użytkownika. Zanim przywołamy najważniejsze zapisy z tej sekcji dokumentacji Google, warto wpierw wyjaśnić, czym są fetchery?
Fetchery to zautomatyzowane boty działające w sieci, których zadaniem jest pobieranie zasobów na żądanie, często w ramach określonych usług lub procesów. Fetchery tym różnią się od crawlerów, że są inicjowane na prośbę użytkownika, a nie działają autonomicznie jak crawlery. W przypadku Google fetchery są wykorzystywane do wykonywania żądań pobierania treści na potrzeby produktów Google, takich jak Google Site Verifier czy Google Publisher Center. Co ważne – fetchery z reguły ignorują zasady zawarte w pliku robots.txt.
Nowa dokumentacja Google na temat crawlerów w taki sposób tłumaczy działanie fetcherów: „fetchery są inicjowane przez użytkowników w celu wykonania operacji pobierania w ramach produktu Google. Ogólne właściwości techniczne crawlerów Google mają również zastosowanie do fetcherów wywoływanych przez użytkownika”.
W dokumentacji zawarto krótką listę kilku tego typu botów:
- feedfetcher,
- Google Publisher Center,
- Google Read Aloud,
- Google Site Verifier.
Dlaczego Google zmienia dokumentację dotyczącą crawlerów?
Zmiany w dokumentacji mają być podyktowane uporządkowaniem dotychczasowych informacji. Google tłumaczy swoją decyzję jako konieczne działanie wymuszone dalszym dodawaniem nowych danych o crawlerach. Wobec tego niezbędne było zmienienie struktury dokumentacji, aby była bardziej elastyczna, ponieważ dotychczasowa wersja, zwłaszcza w kontekście strony przeglądowej, była zbyt obszerna.
Zdecydowano więc o podzieleniu treści na trzy podtematy, co pozwala na łatwiejsze i lepiej zorganizowane przedstawienie dalszych, szczegółowych informacji o crawlerach oraz uwolnienie miejsca na bardziej ogólne treści na stronie przeglądowej. W dzienniku Google następująco argumentuje podjęte kroki: “Dokumentacja stała się zbyt długa, co ograniczało naszą możliwość rozszerzania treści dotyczących naszych crawlerów i fetcherów wywoływanych przez użytkowników”.
Chociaż zawartość w dużej mierze pozostała taka sama, jej podział na podtematy ułatwia Google dodawanie nowych treści na nowych stronach bez dalszego rozrastania się oryginalnej strony. Oryginalna strona, zatytułowana „Przegląd crawlerów i fetcherów Google (user agents)”, teraz faktycznie pełni rolę przeglądową, a bardziej szczegółowe informacje zostały przeniesione na osobne strony.
Google zorganizował dokumentację na nowo, dodając wzmianki o tym, co dotyczy każdego z crawlerów osobno, a także fragment robots.txt dla każdego crawlera. Warto jednak zwrócić uwagę na to, że dziennik zmian nieco umniejsza skalę wprowadzonych modyfikacji. Google określa je jako uporządkowanie i reorganizacja informacji, jednak nie brakuje przecież wielu nowych informacji.
Porządki w dokumentacji crawlerów – podsumowanie
Najnowsza aktualizacja dokumentacji Google porządkuje informacje i dodaje nowe. Zmieniona struktura sprzyja organizacji treści i pozwala na płynne zawieranie kolejnych danych w przyszłości. Strona przeglądowa, która jest na początku dokumentacji, została mocno ograniczona, ale nie raczej nie kosztem merytorycznej treści, lecz ogólnych informacji, które nie są nikomu potrzebne. Osoby, które zaglądają do dokumentacji Google, raczej znają podstawy. Obecnie strona przeglądowa jest więc krótsza, ale bardziej przystępna i stanowi punkt wyjścia do zapoznania się z kolejnymi sekcjami.
Tych z kolei nie brakuje, bo największą zmianą nowej dokumentacji jest właśnie dodanie 3 nowych sekcji opisujących popularne crawlery, crawlery specjalistyczne i fetchery wywołane przez użytkownika. Rozbudowane opisy tych sekcji mogą wskazywać na to, że Google powszechnie wykorzystuje wszystkie powyższe boty. O wykorzystywaniu dwóch pierwszych wiadomo dużo, skala wykorzystywania fetcherów jest mniej oczywista ze względu na brak transparentnych umów. Na koniec warto nadmienić, że wprowadzone zmiany nie przekładają się w żaden sposób na ewentualne aktualizacji algorytmów Google. Pokazują one tylko sposób podejścia Google do dokumentacji oraz stwarzają łatwiejszą możliwość dalszych modyfikacji tej sekcji i dodawania nowych informacji.
