Ostatnie badania wskazują na wciąż powszechne zjawisko halucynacji modeli językowych. Pomimo rozwoju sztucznej inteligencji, wzrostu mocy obliczeniowych i coraz lepszych rezultatów w poszczególnych benchmarkach halucynacje wciąż mają miejsce. Często zabierają one nie tylko satysfakcję z pracy przy pomocy narzędzi AI, ale także ograniczają efektywność realizowanych działań. W dzisiejszym artykule w Funkymedia zastanawiamy się, czym są halucynacje modeli językowych (LLM), jak je rozpoznać i jak można się przed nimi chronić!
Czym są halucynacje sztucznej inteligencji?
Każdy, kto korzysta z narzędzi AI, z pewnością natrafił na problem powtarzających się błędów w generowanych odpowiedziach. Jeżeli wskażemy modelowi językowemu, że zrobił błąd i powinien go naprawić, ten może ów błąd powielić, ale całe zadanie opatrzyć komentarzem mówiącym o tym, że usterka została naprawiona. To groteskowe często niedostrzeganie powielania danych błędów określane jest mianem halucynacji.
Zjawisko halucynacji w modelach językowych polega na generowaniu przez te systemy informacji, które są fałszywe, bezsensowne, pomimo że wydają się logiczne i wiarygodne. Halucynacje mogą przybierać różne formy: od drobnych błędów faktograficznych po całkowicie zmyślone dane, które nie mają oparcia w rzeczywistości ani w danych treningowych. Bardzo często halucynacje związane są ze zjawiskiem pętli logicznej. Model językowy zapętla się w odpowiedziach, nie dostrzegając, co robi, jaką generuje odpowiedź. W związku z tym pojawia się rozbieżność między tym, w jaki sposób wykonał zlecone zadanie, a tym, jak je prezentuje. Halucynacje AI są wciąż problematyczne. Najnowsze badanie, którego wyniki skłoniły nas w Funkymedia do przyjrzenia się temu tematowi raz jeszcze, potwierdza, że fenomen wciąż ma miejsce. Okazuje się, że pomimo ogromnego postępu, który miał miejsce od końca 2022 roku sztuczna inteligencja wcale nie rzadziej wpada w pułapki halucynacji.
Dlaczego modele językowe mają halucynacje?
Pod względem technicznym modele językowe opierają się na statystycznych wzorcach wyuczonych z ogromnych zbiorów danych. To oznacza, że ich odpowiedzi są wynikiem probabilistycznych przewidywań wykonywanych w tle, a nie bezpośredniego „rozumowania” czy „pamiętania” faktów. Halucynacje mogą wynikać z błędów w procesie dekodowania przez transformery, niedokładności w danych treningowych, a także z ograniczeń samego modelu, który nie posiada mechanizmów weryfikacji generowanych treści względem rzeczywistości. Mogą też być konsekwencją błędu polegającego na rozwarstwieniu modułu.
Przyczyny halucynacji mają charakter technologiczny i są związane przede wszystkim z jakością danych treningowych oraz metodami ich przetwarzania. Dane używane do trenowania modeli mogą zawierać błędy, uprzedzenia lub być niekompletne, co prowadzi do generowania niepoprawnych odpowiedzi. Co więcej, modele językowe często cierpią na problem nadmiernego dopasowania (overfitting), gdzie ich wydajność jest bardzo wysoka dla danych treningowych, ale spada dla nowych przypadków. Kolejnym czynnikiem jest probabilistyczna natura modeli – generowanie tekstu odbywa się na podstawie wzorców statystycznych, co może prowadzić do tworzenia treści pozbawionych faktycznego oparcia. Problemy mogą także wynikać z niewłaściwego kodowania semantycznego (np. błędnej interpretacji wieloznaczności słów) oraz zbyt ogólnych lub niejasnych zapytań użytkownika. Wszystkie te czynniki sprawiają, że modele językowe mogą wpadać w halucynacje nawet wtedy, gdy użytkownik prawidłowo wpisuje prompt, a chat dopiero się rozpoczął.
Najnowsze badania: rozwój AI bez wpływu na halucynacje
Najnowsze badania wykazują, że systemy sztucznej inteligencji wciąż borykają się z problemami w zakresie faktograficznej dokładności, pomimo wprowadzonych ulepszeń i zaawansowanych metod. Badacze wyrażają wątpliwości co do możliwości szybkiego rozwiązania problemów z dokładnością generowanych treści. Publiczne postrzeganie możliwości sztucznej inteligencji jest nadmiernie optymistyczne i nie odpowiada jej rzeczywistym zdolnościom. Okazuje się, że paradoksalnie łatwiej zwiększać efektywność obliczeniową modeli, niż “oduczyć” je błędów związanych z halucynacjami.
Raport opublikowany przez Stowarzyszenie na rzecz Rozwoju Sztucznej Inteligencji (AAAI) ujawnia ogromną rozbieżność między społecznym postrzeganiem możliwości AI a rzeczywistymi ograniczeniami obecnej technologii. Badanie było przeprowadzone również na płaszczyźnie socjologicznej, która obejmowała analizę ankiet wypełnionych przez 475 uczestników. Dysproporcja między tym, jak powszechnie postrzega się AI, a jak faktycznie, jest bardzo widoczna. Sztuczna inteligencja w odbiorze faktycznych jej użytkowników uznawana jest za mniej rewolucyjną. Wpływają na to także popełniane przez nią błędy i zjawisko halucynacji. Jako że jest to kolejne takie badanie z serii widać już, że rozwój technologii AI nie odpowiada proporcjonalnemu wzrostowi satysfakcji z wykorzystywania narzędzi sztucznej inteligencji.
Wyższa dokładność, wciąż te same błędy
Problem halucynacji modeli AI wciąż jest nierozwiązany. Według najnowszego badania nawet najbardziej zaawansowane modele opracowane przez OpenAI i Anthropic w testach porównawczych (m.in. SimpleQA) udzielają mniej więcej tylko połowę prawidłowych odpowiedzi. Raport identyfikuje trzy główne techniki wdrażane w celu poprawy faktograficznej dokładności systemów sztucznej inteligencji.
Pierwszą z nich jest generowanie wspierana wyszukiwaniem (retrieval-augmented generation; RAG). Polega ona na gromadzeniu odpowiednich dokumentów przy użyciu tradycyjnych metod wyszukiwania informacji przed wygenerowaniem odpowiedzi. Drugą metodą są zautomatyzowane kontrole rozumowania, które weryfikują generowane wyniki w odniesieniu do predefiniowanych reguł w celu wyeliminowania niespójnych odpowiedzi. Trzecią techniką jest łańcuch myślowy (chain-of-thought; CoT), który polega na rozbijaniu pytań na mniejsze jednostki i zachęcaniu AI do refleksji nad wstępnymi wnioskami.
O ile wszystkie techniki poprawiają dokładność faktograficzną modeli, o tyle nie wpływają na znaczne obniżenie poziomu występowania halucynacji. Ich rozwój przyspiesza realizację rutynowych zadaniach, ale nie niweluje ryzyk wpadnięcia w pętlę i braku świadomości co do popełnianych błędów.
Halucynacje w modelach AI – podsumowanie
Halucynacje modeli językowych utrudniają pracę i negatywnie wpływają na satysfakcję użytkowników. Chociaż giganci AI robią wszystko, by ograniczyć ich występowanie, samo zjawisko jak było, tak jest. Kolejne, nowsze i lepsze generacje modeli AI pomimo wzrostu wydajności wciąż są tak samo obarczone ryzykiem pojawienia się halucynacji. Najnowsze badanie nie dostarcza odpowiedzi na pytanie, jak pozbyć się halucynacji, ale pokazuje, że wzrost wydajności obliczeniowej nie będzie nigdy rozwiązaniem tego problemu.
