Architektura Google Search Engine składa się z funkcji zlokalizowanych na różnych poziomach. Najwyższy z nich, tzw. superroot, obejmuje kluczowe mechanizmy odpowiadające za proces wyszukiwania i rankingowania. Na tym poziomie usytuowane są także dwie specyficzne funkcje Google Search: Ascorer i Twiddlers. Obydwie analizują zgodność wyników wyszukiwania względem zapytań, modyfikują wzorce wyszukiwania i wpływają na kształt SERP. Dziś bierzemy je na warsztat, korzystając z najnowszych informacji, których dostarczył wyciek danych Google API z marca 2024 r. W udostępnionych dokumentach padają skrócone opisy tych funkcji, które dostarczają nieznanych dotąd informacji. Sprawdzamy, jak naprawdę działają najbardziej enigmatyczne elementy architektury Google Search Engine!
Ascorer i Twiddlers – enigmatyczne algorytmy Google Search Engine
Google Search Engine opiera się na wielowarstwowej strukturze, która umożliwia efektywne gromadzenie, analizowanie i prezentowanie informacji. Centralnym elementem architektury Google Search jest indeks wyszukiwania, który przechowuje dane o miliardach stron internetowych. Można powiedzieć, że jest to stale modyfikowana, zmieniająca się baza zasobów. Jest ona modyfikowana w pierwszej kolejności przez elementy architektury Search Engine, które zaliczają się do superroot. W tej grupie znajdziemy najbardziej kluczowe funkcje algorytmiczne, które odpowiadają za całokształt funkcjonowania i modyfikowania wyników wyszukiwania. Należą do niej między innymi dwie dość enigmatyczne funkcje, Ascorer i Twiddlers, o znaczeniu których przez lata narosło wiele spekulacji.
Ascorer i Twiddlers to jedne z najbardziej rozbudowanych i zaawansowanych algorytmów Google Search Engine. Ascorer realizuje zadania związane z oceną i klasyfikacją danych na podstawie różnych kryteriów. Sprawdza ocenę jakości i trafności stron internetowych, weryfikuje zgodność pomiędzy zapytaniami a wyświetleniami danej strony w SERP. Twiddlers natomiast – jako nadrzędny framework – modyfikuje parametry algorytmiczne niższych rzędów tak, aby odpowiadały wzorcom wyszukiwania. Odpowiada za optymalizację wyników wyszukiwania z uwzględnieniem danych behawioralnych dotyczących sposobu zachowywania się użytkowników w wyszukiwarce. Obydwie funkcje są niezwykle zaawansowane i mają fundamentalne znaczenie dla całej wyszukiwarki Google Search.
Framework Twiddlers
Twiddlers to framework i część superroot silnika, która odpowiada za ponowne ustalanie kolejności wyników z jednego korpusu. Od strony fizycznej Twiddlers to macierz napisana w języku C++. Framework bezpośrednio związany jest z drugim istotnym elementem rankingowych należącym do nadrzędnego rdzenia – universal packer. Element ten łączy wyniki z wielu korpusów w celu dalszego ich przetwarzania. Twiddlers dostarcza informacji rankingowych na podstawie tymczasowej odpowiedzi wyszukiwania z jednego korpusu, działając na uporządkowanej sekwencji wyników, a nie pojedynczych zdarzeniach.
Zastosowanie Twiddlersa można podzielić na dwa główne obszary:
- Predoc Twiddlers – część frameworku, która działa na tzw. cienkich odpowiedziach, na wynikach wyszukiwania pozbawionych jakichkolwiek informacji o dokumentach (np. fragmentach tekstu). Zestawy wyników do tej funkcji zwracane są przez backend silnika.
- Lazy Twiddlers – działają na wejściu systemu, pracując nad wynikami po pobraniu informacji o dokumentach z nimi związanych.
System Ascorer
Ascorer jako witalny element nadrzędnej architektury rdzenia Search Engine owiany jest tajemnicą. Nie dysponujemy wieloma informacjami na jego temat. Jak wiadomo, Google nie udostępnia szczegółowych informacji technicznych dotyczących tego, z jakich komponentów składa się silnik wyszukiwarki i w jaki sposób współpracują one ze sobą. Jednakże o Ascorer wiemy więcej za sprawą ostatniego, masowego wycieku dokumentów Google API, w których enigmatyczna nazwa Ascorer pojawia się kilkukrotnie.
Można przypuszczać, że system Ascorer dostarcza ocenę rankingu dokumentu, a Twiddlers pełnią rolę wzmacniaczy w tych rankingach. Podczas gdy Twiddlers działają na uporządkowanej sekwencji wyników, Ascorer wykonuje analizy wyników odizolowanych. Nie bada całych korpusów, ale poszczególne rekordy. Wiadomo też, że korzysta z analizy dokumentów, a więc bierze pod uwagę konteksty, w tym m.in. treści na stronie, informacje techniczne, geolokalizacyjne itd.
Ascorer zbiera sygnały rankingowe i definiuje ostateczny wynik przesyłany do rankingu wyszukiwarki. Ascorer jest rdzeniem algorytmu Google używanego do wyszukiwania informacji. Nazwa „Ascorer” najprawdopodobniej pochodzi od „Amit’s Scorer”, odnosząc się do Amita Singhala, który był wiceszefem ds. wyszukiwania w Google przez około 15 lat. To właśnie on miał zainicjować budowę systemu algorytmicznego, który będzie odpowiadał za ulepszenie jakości wyników poprzez ich integrację.
Główne funkcje Ascorer w Google Search Engine
System Ascorer pełni funkcję kleju w obrębie systemu rankingowego Google Search. Odpowiada za integracje setek tysięcy sygnałów. To właśnie Ascorer jest miejscem, w którym odbywa się „magia”. Prawdopodobnie system RankBrain powstał właśnie na architekturze Ascorer i obecnie stanowi jego dodatek. Na podstawie informacji z wycieku danych Google API w serwisie Github z marca 2024 r., można wnioskować, że:
- Ascorer jest częścią systemu rankingowego Google, odpowiedzialną za przypisywanie punktacji (scoringu) dokumentom internetowym,
- system wykorzystuje wiele czynników do obliczania końcowego wyniku; bada m.in.: jakość treści, linki przychodzące, strukturę strony internetowej, behawioralne sygnały użytkownika i nie tylko,
- Ascorer działa w czasie rzeczywistym, dynamicznie aktualizując oceny stron w miarę indeksowania nowych treści, a jego bieżące działania mają natychmiastowe przełożenie na kształt wyników wyszukiwania,
- jako nadrzędny element architektury superroot silnika Google SearchAscorer wykorzystuje techniki uczenia maszynowego do ciągłego dostosowywania wag różnych czynników rankingowych,
- Ascorer jest ściśle zintegrowany z innymi komponentami wyszukiwarki Google, takimi jak indekser i system przetwarzania zapytań, przy ma charakter nadrzędny względem nich,
- wyniki generowane przez Ascorer są modyfikowane przez framework Twiddlers, który dokonuje końcowych korekt rankingu,
- Ascorer analizuje zarówno treść on-page, jak i sygnały off-page, aby określić wartość i ważność stron internetowych,
- Ascorer może przypisywać różne wagi tym samym czynnikom w zależności od kontekstu zapytania i intencji użytkownika,
- analiza ogromnej ilości danych możliwe jest przy pomocy mechanizmom rozproszonego przetwarzania danych.
Ascorer i Twiddlers – podsumowanie
Wszyscy wiedzieliśmy o tym, że silnik wyszukiwarki Google jest złożony i obejmuje szereg wewnętrznych systemów, które wzajemnie na siebie wpływają. Po spektakularnym wycieku danych Google API mogliśmy jednak poznać jeszcze więcej szczegółów.
Choć wciąż nie mamy szczegółowych informacji technicznych, a Google nigdy nie potwierdza tego typu doniesień, wiadomo, że systemy Ascorer i Twiddlers odgrywają najbardziej istotne role w całym silniku wyszukiwarki. Należą one do najwyższego segmentu superroot, wzajemnie się uzupełniają (Twiddlers jako framework analizujący bloki komponentów, Ascorer jako silnik modyfikujący rekordy) i odpowiadają za dostosowywanie wyników wyszukiwania.
To, co najbardziej uderza, to fakt, że Ascorer jest w stanie w czasie rzeczywistym modyfikować SERP i zmieniać wagi czynników rankingowych w zależności od kontekstu. Oznacza to, że cała ekwilibrystyka związana z poszukiwaniem “TOP 200 czynników rankingowych Google” po prostu mija się z celem i staje się jeszcze śmieszniejsza. Ascorer bazuje na tysiącach danych, przez co przewidzenie, które czynniki w danym momencie będą miały większą wagę dla danego zapytania, przy uwzględnieniu kontekstu języka, użytkownika, historii itd., jest po prostu niemożliwe. Nie jest tak, że system Google działa losowo, ale ze względu na liczbę naczyń połączonych i tysiące kryteriów rezultaty tych operacji faktycznie mogą przypominać losowanie.
