GoogleOther to jeden z głównych crawlerów Google, który odpowiada za weryfikowanie stron internetowych i multimediów. Ze względu na stopień aktywności bota wielu użytkowników decyduje się na ręczne blokowanie crawlera. W najnowszej dyskusji Gary Illyes przekonuje jednak, że taka praktyka może prowadzić do wielu negatywnych dla użytkownika konsekwencji. Przyglądamy się sprawie dokładniej, aby odpowiedzieć, czy faktycznie warto blokować GoogleOther, czy pozwolić mu działać swobodnie!
Google zaleca ostrożność przy blokowaniu crawlera GoogleOther
GoogleOther to uniwersalny crawler stworzony przez Google w kwietniu 2024 roku. To jednocześnie najnowszy tak zaawansowany crawler. Chociaż nie ma na ten temat jasnych informacji, jego powstanie zbiega się z przeprowadzeniem aktualizacji rdzeniowej March Core Update. Powołanie do życia nowego bota weryfikującego m.in. jakość stron i elementów, które się na nich znajdują, mogą być bezpośrednio związane z próbą ograniczania spamu w wynikach wyszukiwania.
Wiadomo, że GoogleOther weryfikuje wiele czynników na stronie. Jego praca może obejmować testowanie nowych funkcji i produktów przez różne zespoły w Google. Blokowanie crawlera może pomóc w ochronie zasobów serwera i prywatności danych, jeśli istnieje obawa przed nieznanymi celami wykorzystania danych przez Google. Ostatecznie crawler GoogleOther jest stosunkowo nowy, co również wzbudza niechęć wielu użytkowników. Poniżej sprawdzamy, czy faktycznie warto obawiać się jego funkcji i decydować się na blokadę!
GoogleOther – najnowszy crawler Google od wszystkiego
Opublikowany pod koniec kwietnia crawler odpowiada za szereg różnych zadań. Zbiera zarówno informacje, które również pobierane są przez inne specjalistyczne boty, jak i wyjątkowe dla siebie. GoogleOther może być wykorzystywany przez wewnętrzne zespoły Google do badań i rozwoju w kontekście różnych produktów. Pobierane informacje dotyczą takich obszarów, jak Search, Ads, Video, Images, News, Desktop i Mobile.
Zgodnie z oficjalnym opisie na stronie Google: „GoogleOther to uniwersalny crawler, który może być używany przez różne zespoły produktowe do pobierania publicznie dostępnych treści z witryn. Przykładowo, crawler może być wykorzystywany do jednorazowych badań na potrzeby wewnętrznych analiz i rozwoju”.
To, co jest zaskakujące, to fakt, że możemy wyróżnić trzy rodzaje crawlerów GoogleOther:
- GoogleOther – uniwersalny crawler do analizy publicznych adresów URL,
- GoogleOther-Image – crawler zoptymalizowany do przeglądania obrazów i grafik,
- GoogleOther-Video – bot przeznaczony do crawlowania materiałów wideo.
Warto dodać, że Google nie precyzuje, jakie konkretnie funkcje niezwiązane z wyszukiwaniem wspiera GoogleOther. Wynika to prawdopodobnie z tego, że cele działania crawlera są bardzo ogólne i szerokie. Może być stosowane do celów badawczo-rozwojowych, pobierać informacje dotyczące witryn nie tylko na użytek pozycjonowania.
Blokowanie GoogleOther nie wpłynie na wyszukiwanie, ale nie jest zalecane
Na łamach najnowszej dyskusji ze społecznością Gary Illyes z Google ostrzega, że blokowanie GoogleOther „może wpłynąć na szeroki zakres funkcji w ekosystemie Google”. Dyskusja rozpoczęła się od pytania, które postawił jeden z użytkowników: „jakie funkcje niezwiązane z wyszukiwaniem wspiera crawling GoogleOther”?. Gary Illyes nie do końca odpowiedział na to pytanie. Zaznaczył, że dysponuje jedynie tymi informacjami, które są publicznie dostępne. Następnie zachęcał do tego, aby nie blokować najnowszego crawlera Google. GoogleOther ma bowiem pełnić ważne funkcję w systemie indeksowania Google, a jego blokada może wpływać na pozostałe systemy.
W ujęciu historycznym podobny, szeroki zakres kompetencji przypisywano Googlebot. To najpopularniejszy crawler Google, który odpowiada za weryfikację stanu witryn, analizę jej elementów, analizę linków i nie tylko. GoogleOther nie jest jednak związany z jednym produktem, a ma być powiązany z całym ekosystemem Google.
Illyes wyjaśnia, że blokowanie GoogleOther nie wpłynie na wyszukiwanie Google, ponieważ to Googlebot jest crawlerem używanym do indeksowania treści. Jeśli więc właściciel witryny chce zablokować dowolną z trzech wersji GoogleOther, nie powinno to negatywnie wpłynąć na pozycjonowanie w wyszukiwarce. Z drugiej strony ostrzega, że uniemożliwianie pracy GoogleOther, np. poprzez wykluczenia w robots.txt, może wpływać na pozostałe usługi Google. Nie określa przy tym, które produkty i usługi są bezpośrednio związane z crawlerem.
Argumenty za i przeciw blokowaniu GoogleOther
Decyzja o blokowaniu GoogleOther nie jest prosta, a dostępne dane mogą być różnie interpretowane. Sprawdziliśmy, jakie są najpopularniejsze argumenty za i przeciw wykorzystywaniu GoogleOther. Zacznijmy od zalet:
- Każde manualne blokowanie elementów infrastruktury Google jest obarczone jakimś ryzykiem – nawet jeśli istnieje pewność, że dane działanie nie przełoży się teraz na wyszukiwanie, należy zachować ostrożność. Możliwe, że po kilku latach taki crawler nabierze innych funkcjonalności, a użytkownik, który zapomni o wykluczeniu crawlera, będzie się dziwił, dlaczego jego wyniki są gorsze.
- GoogleOther jest nieszkodliwym crawlerem, który w dużym stopniu skupia się na badaniach – udział w badaniach nad przyszłymi produktami Google związanymi z wyszukiwaniem (m.in. mapy, zakupy, obrazy, nowe funkcje wyszukiwania) nie jest zagrożeniem dla strony. Jeżeli witryna zostanie wybrana do testowania nowej funkcji, w niektórych przypadkach może być to korzystne.
- Zasoby serwera nie zyskają wiele na blokadzie crawlera – pomimo tego, że GoogleOther faktycznie przeczesuje sieć i analizuje różne elementy na stronach, działania te nie są inwazyjne i wyczerpujące dla serwerów. Co więcej, w przeciwieństwie do wielu innych botów GoogleOther nie wykonuje crawlów na tyle często, aby miało to zauważalny wpływ.
Dla równowagi warto też wspomnieć o argumentach, które przemawiają za ograniczeniem dostępu GoogleOther. Najpopularniejsze to:
- GoogleOther może potencjalnie zbadać stronę pod kątem, którego chce się uniknąć – ze względu na to, że obszar działania nowego crawlera wciąż jest tajemnicą, właściciele stron, które mają coś do ukrycia, np. masowo publikują treści generowane przez A.I., mogą rozważyć blokadę crawlera.
- Nie każdy chce uczestniczyć w badaniach Google – właściciele stron mogą nie być skłonni do uczestnictwa w badaniach, których dokładny przedmiot i zakres jest utajniony. To kompletnie zrozumiałe. Jeśli mamy takie obawy, można zablokować GoogleOther.
Crawler Google jako narzędzie do A.I.?
Istnieje spora konsternacja co do tego, do czego faktycznie wykorzystywane jest przez Google nowy crawler. Dyskusje w specjalistycznych wątkach na takich portalach, jak Hacker News czy Reddit, wskazują, że nie brakuje obaw dotyczących zakresu działania GoogleOther.
Niektórzy użytkownicy spekulują, że GoogleOther może być używany do zbierania danych do projektów A.I. Cele badawcze, o których Google mówi oficjalnie, nie precyzują sposobu i zakresu wykorzystania danych. Ogólny charakter crawlera sprzyja jednak takim spekulacjom. Dane zbierane przez GoogleOther mogłyby być wykorzystywane w procesach związanych z uczeniem maszynowym i sztuczną inteligencją,.
Chociaż brak jednoznacznych dowodów na to, że crawler ten jest bezpośrednio zaangażowany w trenowanie modeli A.I., nie można odmówić logiki stojącej za takimi teoriami. Wiadomo, że GoogleOther nie jest używany do celów związanych z publicznie dostępnymi modelami językowymi, takimi jak Google Gemini, do których stosuje się specjalistyczny bot Google-Extended. Nie można jednak wykluczyć, że GoogleOther odpowiada za inne cele specjalistyczne, zwłaszcza że jego pojawienie się przypada nie tylko na czas głównej aktualizacji rdzeniowej, ale także intensywnych prac związanych z Gemini.
Blokować czy nie blokować GoogleOther? Podsumowanie
Czy blokować GoogleOther? To zależy. Odpowiedź zależy w dużym stopniu nie od tego, za co faktycznie odpowiada crawler, ale tego, co uważamy, że robi. Jasne jest, że GoogleOther wyróżnia się wszechstronnością. To crawler, który może analizować parametry odmienne względem pozostałych botów. Sprawia to, że trudno zaufać Google, że wykorzystuje dane wyłącznie do własnych analiz i badań. Blokowanie tego bota może pomóc w ochronie zasobów serwera i prywatności danych, szczególnie jeśli istnieją obawy dotyczące nieznanych celów wykorzystania danych przez Google. Z drugiej strony po prawie czterech miesiącach od premiery nie wykazano, aby GoogleOther mógł w jakikolwiek negatywny sposób oddziaływać na stronę. Kwestia zużycia zasobów serwera jest także dyskusyjna, ponieważ crawler nie pojawia się na stronach tak często, jak pozostałe, których przecież z reguły nie blokujemy. Zużycie zasobów również jest tak marginalne, że można ten czynnik po prostu pominąć. Paradoksalnie to, co powinno najbardziej przekonywać za tym, aby nie blokować GoogleOther, może tylko zachęcać do takiej decyzji. Chodzi oczywiście o argumenty Garego Illyesa, który przekonuje, że uniemożliwienie pracy crawlerowi może mieć fatalne skutki dla całego “ekosystemu Google”!
