Naukowcy z Massachusetts Institute of Technology przeprowadzili ciekawy eksperyment z wykorzystaniem dużych modeli językowych (LLM). Sprawdzili, dlaczego model językowy, który de facto jest jedynie połączeniem dużej bazy informacji pierwotnych i operatorów funkcyjnych, może sprawiać wrażenie, że rozumie rzeczywistość. Chociaż modele językowe nie są w stanie poczuć deszczu, ani ocenić, dlaczego zachód słońca może być piękny, okazuje się, że na bazie języka mają własny światopogląd i rozumienie, które wykracza poza zwykłe naśladownictwo. Na czym polega ten fenomen? Czy już teraz w LLM tkwi zalążek prawdziwej sztucznej inteligencji?
Świadomość zapachu, czyli modele językowe tłumaczą rzeczywistość
Poproś model językowy (LLM), taki jak ChatGPT, aby poczuł zapach deszczowego obozowiska, a uprzejmie odmówi. Wskaże, że nie jest w stanie tego zrobić, ponieważ jest tylko modelem językowym. Zapytaj jednak ten sam model o opisanie zapachu, który można poczuć na takim obozowisku, a rozwinie przed tobą poetycki obraz „powietrza nasyconego oczekiwaniem” i „zapachu, który jest jednocześnie świeży i ziemisty”. Opisy są przednie, bardzo realistyczne, a przecież bot konwersatoryjny nigdy wcześniej nie doświadczył ani deszczu, ani obozowiska; nie posiada zmysłów, które umożliwiłyby poczynienie takich obserwacji.
Dlaczego tak się zatem dzieje? Z czego wynika to, że modele językowe tak dobrze adaptują rzeczywistość tekstową do naszych oczekiwań na podstawie promptu? I ostatecznie: czy odpowiedzi modeli językowych są wyłącznie próbą naśladownictwa, czy jednak istnieje w nich pewna unikalność wskazująca dominujący typ myślenia o rzeczywistości? Wszystkie te wątpliwości stały się jednymi z wielu pytań badawczych dla zespołu z Computer Science & Artificial Intelligence Laboratory prestiżowego uniwersytetu Massachusetts Institute of Technology. Wnioski z badania przeprowadzonego przez MIT są niezwykłe i rzucają nowe światło na ontologię modeli językowych i ich wartości poznawcze.
Modele językowe – naśladownictwo czy oryginalność?
Zadając modelowi językowemu pytania odnoszące się do jego własnego doświadczenia, trzeba przygotować się na odmowę odpowiedzi. Pytając jednak o element docelowy, np. “zapach”, coś, co można wiedzieć, czyli nie tyle zderzyć się z tym empirycznie, co nauczyć z dostępnych materiałów, odpowiedzi modeli językowych mogą być perfekcyjne. Nierzadko mogą nawet wydawać się bardziej autentyczne, niż odpowiedzi prawdziwych ludzi.
Jednym z możliwych wyjaśnień tego zjawiska jest to, że LLM po prostu naśladuje tekst zawarty w ogromnych zbiorach danych treningowych, a nie operuje jakimkolwiek realnym zrozumieniem opisywanych przez siebie fenomenów. Pojawia się jednak pytanie: czy brak oczu albo nosa oznacza, że modele językowe nigdy nie będą w stanie „zrozumieć,” że lew jest „większy” niż kot domowy? Wittgenstein wskazywał, że “granice mojego świata są granicami mojego języka”. Filozofowie i naukowcy od dawna uznają zdolność do przypisywania znaczenia językowi za wyróżnik ludzkiej inteligencji — i zastanawiają się, jakie kluczowe elementy pozwalają nam to robić.
Eksperyment MIT – modele językowe rozwijają własne rozumienie rzeczywistości?
W poszukiwaniu odpowiedzi na tę zagadkę, badacze z Massachusetts Institute of Technology przeprowadzili badanie, które dostarcza naprawdę intrygujących wyników. Eksperyment wskazuje, że modele językowe mogą rozwijać własne rozumienie rzeczywistości, aby poprawić swoje zdolności generatywne. Jak odbywał się eksperyment?
Zespół najpierw stworzył zestaw małych zagadek Karela, polegających na opracowaniu instrukcji do sterowania robotem w symulowanym środowisku. Następnie wytrenowali LLM na rozwiązaniach, ale bez pokazywania, jak te rozwiązania faktycznie działają. W końcu, używając techniki uczenia maszynowego zwanej „sondą,” przyjrzeli się „procesowi myślowemu” modelu podczas generowania nowych rozwiązań.
Naukowcy szkolili model na ponad milionie losowych zagadek sprawdzając, w jaki sposób odpowiada i jak zmieniają się z czasem te odpowiedzi. Czynnikiem zmiennym była wiedza, która wraz z kolejnymi zadaniami i pytaniami była dostarczana modelowi. Nie osobno, lecz właśnie w tych pytaniach. Model nie miał bowiem zaaplikowanej żadnej “wejściowej” dawki wiedzy”, nie miał też poleceń, które miałaby wskazywać, że ma wyciągać wnioski z poprzednich zagadek i pytań.
Po przeszkoleniu na ponad milionie losowych zagadek zespół z MIT odkrył, że model językowy spontanicznie rozwinął własną koncepcję symulacji pomimo tego, że nigdy nie był w trakcie treningu wystawiony na treść związaną z symulacją jako taką. Takie odkrycia podważają nasze intuicje na temat tego, jakie rodzaje informacji są niezbędne do nauki znaczenia języka — i czy modele LLM mogą w przyszłości zrozumieć język na głębszym poziomie niż obecnie.
Wewnątrz umysłu LLM
Tworzenie własnych koncepcji, w tym przypadku symulacji, pomimo braku adekwatnego promptu i polecenia, jest zdolność dodatkową modelu, która zachodzi w tle. Wynika prawdopodobnie z operatorów funkcyjnych, które odpowiadają za proces machine learning. Oznacza to, że nawet bez konkretnego promptu model językowy musi uczyć się na bieżąco, a więc także z tego, o co jest pytany, jak jest pytany oraz w jaki sposób sam odpowiada.
Charles Jin, członek zespołu badawczego, doktorant inżynierii elektrycznej i informatyki, mówi wprost: “na początku eksperymentów model językowy generował losowe instrukcje, które nie działały. Gdy zakończyliśmy trening, nasz model językowy generował poprawne instrukcje z dokładnością 92,4 procent”. Umiejętności własne modelu były zaskoczeniem dla każdego. Jin przyznaj, że “to był dla nas bardzo ekscytujący moment, ponieważ pomyśleliśmy, że jeśli model językowy jest w stanie wykonać zadanie z takim poziomem dokładności, można by oczekiwać, że rozumie również znaczenia w języku. Moment ten był punktem wyjścia do zbadania, czy LLM faktycznie rozumie tekst. Teraz [po przeprowadzeniu badania – red.] widzimy, że modele językowe są zdolne do czegoś znacznie więcej niż tylko ślepego składania słów w całość”.
Symulacja w symulacji. LLM tworzy symulację robota – w tajemnicy
Jednym z narzędzi badawczym biorących udział w procesie była specjalna sonda, która pomogła Jinowi z zespołem naocznie sprawdzać postęp LLM w zakresie rozumienia instrukcji. Sondą był fragment kodu, który był niewidoczny dla LLM, ale umożliwiał dokładne monitorowanie każdej sekwencji kodu tworzonego przez model językowy po otrzymania przez niego pytania. Sonda monitorowała każdy element, łącznie z kodyfikacją i dekodyfikacją promptu.
Okazało się, że model stworzył własną wewnętrzną symulację ruchów robota w odpowiedzi na każdą instrukcję. Co więcej, nie poinformował o tym człowieka. W miarę jak zdolność modelu do rozwiązywania zagadek się poprawiała, koncepcje umieszczane w obrębie symulacji również stawały się coraz bardziej precyzyjne. Potwierdza to hipotezę o tym, że LLM samoistnie rozwija z czasem umiejętność rozumienia otrzymywanych instrukcji. Dzieje się tak oczywiście w warunkach laboratoryjnych, czyli wtedy, gdy mamy ustalony proces. Trudno oczekiwać takiego rezultatu, jeśli po kilku systematycznych instrukcjach pojawiłby się zupełnie inny prompt, np. pytający model językowy, jak zrobić jakieś jedzenie.
Jin zauważa, że rozumienie języka przez LLM rozwija się fazowo podobnie do tego, jak dziecko uczy się mówić w kilku etapach. Na początku jest to jak gaworzenie dziecka: powtarzalne i w dużej mierze niezrozumiałe. Następnie model językowy przyswaja sobie składnię, czyli zasady języka. To pozwala mu generować instrukcje, które mogą wyglądać na prawdziwe rozwiązania, choć nadal nimi nie są.
Świat na opak
Gdy eksperyment trwa, instrukcje LLM stopniowo ulegają poprawie. Model przyswaja więcej znaczeń i kontekstów, zaczyna tworzyć instrukcje, które prawidłowo realizują założone cele. Proces zaczyna przypominać dziecko w fazie, kiedy zna już podstawowe słowa i znaczenia, ale dopiero uczy się tworzyć spójne zdania.
Na tym etapie trzeba powrócić do roli wspomnianej już sondy. Jin wskazuje, że „sonda jest jak analityk kryminalistyczny. Podajesz stos danych analitykowi i mówisz: oto jak porusza się robot, teraz spróbuj znaleźć ruchy robota w tym stosie danych. Analityk później mówi ci, że wie, co dzieje się z robotem w tym stosie danych. Ale co jeśli stos danych w rzeczywistości koduje jedynie surowe instrukcje, a analityk znalazł jakiś sprytny sposób na wyciągnięcie tych instrukcji i ich wykonanie? Wnioski są takie, że w takiej sytuacji model językowy wcale nie nauczył się, co znaczą dane instrukcje”.
Badacze stworzyli więc nową sondę, zmieniając jednak znaczenie instrukcji. Stworzyli system odwrotny, “świat na opak”, w którym polecenia “w górę” miały oznaczać “w dół” itd. „Jeśli sonda tłumaczy instrukcje na pozycje robota, powinna być w stanie przetłumaczyć instrukcje zgodnie z odwróconymi znaczeniami równie dobrze” – tłumaczy Jin. „Ale jeśli sonda faktycznie znajduje zakodowane ruchy oryginalnego robota w procesie myślowym modelu językowego, wtedy powinna mieć trudności z wyciągnięciem odwróconych ruchów robota z oryginalnego procesu myślowego” – dodaje.
Jak prędko się okazało, nowa sonda napotkała błędy w tłumaczeniu i nie była w stanie zinterpretować modelu językowego, który był wyposażony w opaczne rozumienie poleceń. Oznaczało to jednak, że pierwotne semantyki były zakodowane w modelu językowym, co wskazywało, że LLM rozumiał, jakie instrukcje były potrzebne niezależnie od oryginalnego klasyfikatora sondy.
Przypadek czy rozumienie rzeczywistości?
Zasadnicze pytanie dotyczące dużych modeli językowych brzmi dzisiaj następująco: czy zaskakujące zdolności LLM wynikają jedynie z korelacji statystycznych na dużą skalę, czy też duże modele językowe rozwijają jakieś własne zrozumienie rzeczywistości, z którą mają pracować? Badanie przeprowadzone przez MIT wskazuje, że modele językowe tworzą własne symulacje rzeczywistości bazujące na dostarczanych informacjach z danych treningowych i promptów użytkowników.
Badanie potwierdziło też inną, fenomenalną hipotezę, zgodnie z którą modele językowe mogą rozwijać głębsze zrozumienie języka. To wnioski rewolucyjne, bo zdolność do nadawania znaczeń, zwłaszcza językowych, jest cechą charakterystyczną dla ludzkiej inteligencji. Badanie dowodzi jednak, że modele językowe mogą rozwijać własne rozumienie rzeczywistości, aby poprawić swoje zdolności generatywne. Cele modeli językowych są i jak na razie pozostają w pełni utylitarne. Rozumienie podstawowych znaczeń, umiejętność osadzania ich w kontekście oraz tworzenie wyobrażonych symulacji otoczenia mają służyć lepszemu wykonywaniu poleceń.
Pomimo rewolucyjnych wyników zespół przyznaje, że eksperyment był w dużym stopniu ograniczony. W badaniu zastosowano stosunkowo proste komendy programowania i mały model językowy. Kolejne eksperymenty na A.I. mają być kontynuowane na większych modelach, z bardziej zróżnicowanym środowiskiem i zasobami.
Jak nas widzą modele językowe? Podsumowanie
Innowacyjne badanie pracowników z uniwersytetu MIT dostarcza niezwykle ciekawych wniosków, które zmienią kształt podręczników. Zespół najpierw stworzył zestaw zadań bazujących na tzw. zagadkach Karela, które polegały na opracowaniu instrukcji do sterowania robotem w symulowanym środowisku. Następnie wytrenowali model językowy, który miał te zagadki rozwiązywać, jednak nie demonstrowali mu faktycznego robota, którym miał kierować. Zastosowali specjalistyczne sondy, fragmenty oprogramowania, które monitorowały “od wewnątrz” cały “proces myślowy” sztucznej inteligencji podczas generowania kolejnych rozwiązań.
Po przeszkoleniu na ponad milionie losowych zagadek odkryli, że model spontanicznie rozwinął własną koncepcję symulowanej rzeczywistości, mimo że nigdy nie był na nią eksponowany i jej nie poznał. Dzięki badaniu wiemy, że potencjał drzemiący w samych LLM-ach jest wciąż bardzo niedoszacowany. Pomimo tego, że modele językowe absolutnie nie są sztuczną inteligencją w ścisłym tego słowa znaczeniu, umiejętność tworzenia własnych symulacji i nadawania znaczeń niepokojąco zbliża je pod tym względem do ludzi. Wyniki podważają też dotychczasową wiedzę w zakresie tego, jakie rodzaje informacji są niezbędne do nauki znaczenia językowego — i czy modele językowe mogą kiedyś rozumieć język na głębszym poziomie niż obecnie…
