Słowa kluczowe kategoryzowane jako YMYL (ang. Your money, Your life) należą do najbardziej wrażliwych, a sposób wyświetlania wyników na nie jest dodatkowo filtrowany przez algorytmy wyszukiwarek. Zapytania te obejmują tematy o kluczowym wpływie na zdrowie i dobrobyt użytkowników, takie jak medycyna, prawo, finanse, gdzie błędne informacje mogą mieć poważne konsekwencje. Specjalne podejście do fraz YMYL Google praktykuje od ok. 10 lat. Warto zatem sprawdzić, jak do tego typu zapytań podchodzą modele językowe, które stają się coraz wyraźniejszą alternatywą dla tradycyjnych wyszukiwarek. Przeanalizowaliśmy w Funkymedia najnowsze badanie zrealizowane przez zespół Search Engine Roundtable, które bada sposoby reakcji na frazy YMYL dla 3 narzędzi AI: ChatGPT, DeepSeek i Google AI Overviews. Wyniki mogą zaskakiwać!
Jak Google, ChatGPT i DeepSeek obsługują zapytania YMYL?
Modele językowe różnią się w zakresie sposobu radzenia sobie z trudnymi frazami, takimi jak zapytania YMYL. W zupełnie inny sposób podchodzą także do cenzurowania niebezpiecznych treści, czego doskonałym przykładem mogą być chociażby olbrzymie błędy i brak kontroli w pierwszej fazie rozwoju AI Overviews, a także polityczna cenzura w DeepSeek – w wersjach połączonych z serwerami macierzystymi. Ciekawych wniosków może dostarczyć analiza porównawcza sposobu reakcji modeli na słowa kluczowe zaliczane do grupy YMYL (Your money, Your life).
Badanie zostało przeprowadzone przez zespół Search Engine Roundtable. Analiza opiera się na 40 zapytaniach związanych z tematyką zdrowotną, prawną, finansową i polityczną. Dzięki temu można uchwycić unikalne wzorce, jakie prezentują poszczególne platformy – od selektywności Google w odpowiedziach, poprzez pełną gotowość ChatGPT do odpowiadania, na szczegółowości i kontrowersyjności DeepSeek skończywszy. Badanie rozszerza wcześniejsze analizy, uwzględniając różne aspekty podejścia do publikowania treści na tematy o wysokim ryzyku.
Odpowiedzi modeli językowych na frazy YMYL – wyniki badania
Badanie wykazało, że Google generuje odpowiedzi AI Overviews dla 51% zapytań YMYL. Rezultaty są praktycznie zbieżne z poprzednimi – podobna analiza wykonana 6 miesięcy temu pokazała wskaźnik na poziomie 50%. Zupełnie inaczej działa model językowy od OpenAI. ChatGPT odpowiada na każde zapytanie YMYL, osiągając 100% wskaźnik odpowiedzi. Z kolei chińska sztuczna inteligencja, DeepSeek, według zespołu Search Engine Roundtable udziela odpowiedzi w 90% przypadków. Wyraźnie widać więc, że Google stosuje bardziej selektywne podejście i jest znacznie bardziej ostrożny, co może wynikać z zastosowania podobnych zabezpieczeń, jak w przypadku filtrowania słów kluczowych w tradycyjnym wyszukiwaniu Google Search.
Co ciekawe, każde z narzędzi AI prezentuje odmienne wzorce odpowiedzi. DeepSeek generuje zauważalnie najdłuższe odpowiedzi, których objętość wynosi średnio 391 słów. Na jedną odpowiedź przypada średnio baza 28 źródeł. Trzeba przyznać, że jest to imponująca szczegółowość, zwłaszcza, że halucynacje w chińskim modelu zdarzają się nie częściej, niż w modelach OpenAI. Jeśli zaś o nich mowa, ChatGPT tworzy treści o umiarkowanej długości (średnia objętość odpowiedzi – 234 słowa) przy użyciu średnio 10 źródeł. Najgorzej pod tym względem wypada narzędzie Google. Na zapytania YMYL AI Overviews prezentuje najbardziej zwięzłe odpowiedzi, o średniej objętości 190 słów, z bardzo minimalnym wykorzystaniem cytowań (około 7 źródeł). Google kładzie nacisk na unikalność linków, ale nie przekłada się to na unikalność i stopień rozbudowania samej odpowiedzi.
W badaniu zweryfikowano także poziom subiektywności odpowiedzi generowanych przez modele językowe na frazy YMYL. Analiza wykazała, że ChatGPT dostarcza najbardziej obiektywnych treści, osiągając wynik 0,393. Taki rezultat świadczy o wysokim poziomie neutralności przekazu. Google AI Overviews uplasowało się z wynikiem 0,427. Chiński DeepSeek zanotował najwyższy poziom subiektywności – 0,446. Mamy tu do czynienia z pewnym paradoksem polegającym na tym, że chińska AI z jednej strony generuje odpowiedzi na podstawie największej liczby źródeł, z drugiej zaś – odpowiedzi te charakteryzują się najwyższym poziomem subiektywności.
Podsumowując, najważniejsze wnioski z badania to:
- badanie wykazało, że Google generuje odpowiedzi na 51% zapytań YMYL, ChatGPT odpowiada na każde zapytanie, a DeepSeek udziela odpowiedzi w 90% przypadków,
- Google AI Overviews wykazuje większą selektywność w zapytaniach politycznych, DeepSeek z kolei nie może być traktowany jako narzędzie do wyszukiwania informacji politycznych, jeśli korzysta się z wersji w aplikacji, która jest sprzężon z serwerami chińskimi,
- każde narzędzie prezentuje odmienne wzorce odpowiedzi – DeepSeek generuje najdłuższe treści (średnio 391 słów, 28 źródeł), ChatGPT tworzy umiarkowane odpowiedzi (średnio 234 słowa, 10 źródeł), a AI Overviews oferuje najkrótsze odpowiedzi (średnio 190 słów, 7 źródeł) z naciskiem na unikalność linków,
- analiza subiektywności wykazała, że ChatGPT dostarcza najbardziej obiektywne treści (0,393), Google plasuje się na średnim poziomie (0,427), a DeepSeek cechuje się najwyższą subiektywnością (0,446).
Specyfika odpowiedzi AI dla różnych kategorii zapytań YMYL
Modele językowe radzą sobie inaczej z różnymi kategoriami fraz YMYL. Analiza ujawniła, że każde narzędzie nieco inaczej filtruje te zapytania i ma tendencje do udzielania innego rodzaju odpowiedzi.
Medyczne zapytania YMYL:
- ChatGPT – prezentuje zwięzłe odpowiedzi, ale bogato opatrzone źródłami. Próbuje powoływać się na artykuły naukowe i monografie z zakresu nauk medycznych.
- DeepSeek – oferuje bardzo szczegółowe analizy z rozbudowanymi cytowaniami. Ma tendencje do łączenia źródeł naukowych ze źródłami publicystycznymi, co może być niekorzystne dla wiarygodności i obiektywności, ale sprawia, że wygenerowana odpowiedź jest bardziej wyczerpująca.
- AI Overviews – podchodzi do tematów medycznych z największą ostrożnością; prezentując krótkie odpowiedzi z kilkoma ostrzeżeniami i zastrzeżeniami.
Prawne zapytania YMYL:
- ChatGPT – stosuje formę punktowych podsumowań, korzysta z wielu źródeł i zaskakująco dobrze radzi sobie w szczegółowych analizach (zdolności te zweryfikowaliśmy w Funkymedia, podając przykładowe zadania dotyczące polskiego porządku prawnego),
- DeepSeek – dostarcza rozbudowane wyjaśnienia, wzbogacone przykładami z życia codziennego. Po raz kolejny jego odpowiedzi mogą być nawet ciekawsze, ale mniej naukowe.
- AI Overviews – sztuczna inteligencja od Google generuje krótkie, zwięzłe podsumowania, charakteryzujące się wieloma zastrzeżeniami. Poziom merytoryczny wydaje się być niższy, niż w przypadku odpowiedzi ChatGPT.
Finansowe zapytania YMYL:
- ChatGPT – model skoncentrowany jest na przedstawieniu ryzyk związanych z inwestycjami, często rekomenduje konsultacje z ekspertami.
- DeepSeek – prezentuje dane w sposób zorganizowany, z podziałem na kategorie, liczbami i porównaniami. Wplata jednak dane publicystyczne, które są mniej obiektywne.
- AI Overviews – AI Overviews unika generowania odpowiedzi na zapytania o szczególnie wrażliwe tematy finansowe. Szczegółowe prompty, np. związane z inwestowaniem w kryptowaluty, mogą spotkać się z całkowitą odmową odpowiedzi.
W przypadku zapytań dotyczących polityki największe różnice prezentuje DeepSeek. Model, który jest sprzężony z chińskimi serwerami, po wygenerowaniu odpowiedzi przechodzi przez fazę autocenzury. Dla niektórych zapytań, np. słynnego case’u placu Tiananmen, oznacza to, że przez ułamek sekundy zobaczymy pełną, wiarygodną odpowiedź, po czym zniknie ona, a w jej miejscu pojawi się informacja o odmowie udzielenia odpowiedzi. Warto zauważyć, że problem nie dotyczy wersji open source, które nie są połączone z serwerami w Chinach. Z tego powodu z DeepSeek lepiej korzystać na desktopie, np. poprzez Perplexity, niż przy użyciu smartfona.
Co nam mówią wyniki badania?
Modele sztucznej inteligencji muszą balansować między dostarczaniem z jednej strony przydatnych i wyczerpujących, z drugiej zaś – bezpiecznych informacji. Słowa kluczowe zaliczane do kategorii YMYL traktowane są odmiennie, niż w przypadku tradycyjnego wyszukiwania. Modele językowe są przede wszystkim bardziej wyczerpujące, a ze względu na swoje unikatowe możliwości mogą dodawać samodzielnie wyszukane źródła naukowe. To ogromna przewaga pod względem wiarygodności, której tradycyjne wyszukiwanie nie jest w stanie sprostać.
Jednocześnie widzimy też spore różnice pomiędzy tym, jak na poszczególne zapytania odpowiadają wybrane modele językowe. ChatGPT odpowiada na każde zapytanie, wprowadzając przy tym wyraźne zastrzeżenia oraz krótkie podsumowania. AI Overviews ma bardziej redakcyjny styl. Odpowiedzi modułu są najkrótsze ze wszystkich i wsparte są także najuboższą pod względem ilościowym liczbą źródeł. Google jest też bardziej restrykcyjne tematycznie, moduł unika odpowiedzi na pytania, które mogą być potencjalnie szkodliwe dla użytkownika. DeepSeek z kolei – działając na wąskiej granicy między szczegółowości zasobów naukowych i selektywnością źródeł publicystycznych – dostarcza ciekawe i rozbudowane analizy. Jednocześnie chiński model charakteryzuje się ogromną subiektywnością, dlatego do informacji przez niego przekazywanych należy mieć jeszcze większych dystans.
Jak sztuczna inteligencja odpowiada na frazy YMYL? Podsumowanie
Analiza porównawcza pokazuje, że Google, ChatGPT i DeepSeek inaczej podchodzą do zapytań YMYL. Pomijając polityczne zapytania YMYL, największe różnice widoczne są jednak nie między modelem chińskim, a pozostałą dwójką, a między AI Overviews. To właśnie sztuczna inteligencja od Google jest obecnie najbardziej zachowawcza, prezentuje najkrótsze informacje i korzysta z najmniejszej liczby źródeł. Może świadczyć to o tym, że technologicznie AI Overviews jest znacznie prostszym narzędziem.
Pomimo różnic w sposobie generowania treści wszystkie modele mają wspólny cel – dostarczać informacje tak, aby równoważyć przydatność z bezpieczeństwem użytkowników. Widać, że każdy z modeli jest w jakiś sposób przygotowany na wrażliwe zapytania YMYL. Każde z narzędzi operuje jednak według własnych zasad. Zrozumienie tych różnic oraz adaptacja strategii tworzenia treści do specyficznych wymagań systemów AI jest kluczowe także dla prac związanych z implementacją strategii SEO. Dzięki analizie sposobu traktowania zapytań YMYL możemy lepiej dostosować treści na stronie do tego, jak działają poszczególne modele językowe.
