Rozwój modeli językowych sztucznej inteligencji jest fascynującym zjawiskiem pod wieloma względami ze względu na interdyscyplinarność zastosowania poszczególnych rozwiązań. Najnowsze dzieło zespołu Google Research, AMIE, to nowoczesny model językowy LLP stworzony z myślą i przeprowadzaniu profesjonalnych konsultacji i diagnostyki medycznej. Zaskakuje nie tylko jego wszechstronność, ale przede wszystkim specyfika konstrukcji, w tym m.in. iteracyjny charakter procesu wnioskowania. W tym artykule przyglądamy się dokładnie najnowszej publikacji Google Research Team. Analizujemy możliwości AMIE i sprawdzamy, czy faktycznie już niebawem może dojść do sytuacji, w której nie będziemy umawiać się na teleporadę do lekarza rodzinnego, ale do… AMIE!
AMIE, czyli Google wchodzi na rynek medyczny
Z pełnym impetem Google wchodzi w sektor niezwykle dochodowy i niezwykle ważny: branżę medyczną. 12 stycznia na stronie Google Research Blog firma zamieściła sprawozdanie z rozwoju nowego projektu. Wyniki są oszałamiające do tego stopnia, że trudno nie pokusić się o prognozy związane z dalszym rozwojem Google i partycypacji w poszczególnych rynkach.
Wyjaśnijmy zatem, czym jest AMIE – najnowszy, najbardziej rewolucyjny projekt Google z zakresu diagnostyki medycznej wspieranej sztuczną inteligencją. AMIE (Articulate Medical Intelligence Explorer) to nowoczesny system badawczy A.I. wykorzystujący LLM, który został zoptymalizowany w zakresie diagnostyki medycznej i konsultingu medycznego. Zdaniem twórców, zespołu Google Research, AMIE jest w stanie odzwierciedlać jakość rzeczywistych konsultacji medycznych, które odbywają się między pacjentem a lekarzem.
Pandemia SARS-COV-2 stała się katalizatorem przemian społecznych. Zrewolucjonizowała także postępującą już wcześniej tendencję do cyfryzacji usług medycznych. Ze względu na warunki epidemiczne wiele świadczeń medycznych udzielanych było drogą zdalną. AMIE ma doskonale funkcjonować w takich warunków, oferując wiedzę bogatą zarówno w jednostki chorobowe, procedury postępowania medycznego, ale także wiedzę specjalistyczną w zależności od stanowiska, jakie zajmie.
Google zaznacza, że trening AMIE odbywał się w warunkach środowiska symulacyjnego dialogu diagnostycznego opartego na grze własnej. System bazujący na LLM jest wyposażony w automatyczne mechanizmy sprzężenia zwrotnego, które mają gwarantować najpełniejsze i najbardziej obiektywne uzyskiwanie informacji medycznych od pacjenta, które mogą być kluczowe dla postawienia poprawnej diagnozy. Jak inne zaawansowane modele językowe A.I., AMIE korzysta z uczenia maszynowego. Z deklarowanych możliwości technicznych ciekawie jawi się zdolność rozumowania łańcuchowego AMIE, które odbywa się w czasie rzeczywistym procesu wnioskowania.
AMIE zastąpi lekarza? Profesjonalna diagnostyka medyczna A.I.
Znaczenie opublikowanego projektu jest nie do przecenienia. Świat wciąż walczy z rozprzestrzeniającymi się chorobami, a z biegiem czasu, na skutek stopniowego ocieplania się klimatu, zagrożenia epidemiologiczne mają być coraz poważniejsze. Brak dostępności pracowników medycznych jest silnym, wewnętrznym czynnikiem destabilizującym działanie państwa. Sztuczna inteligencja na tym polu może zdziałać wiele, jeżeli faktycznie udowodnimy jej skuteczność i bezpieczeństwo.
Articulate Medical Intelligence Explorer, AMIE, ma być tego gwarantem. Rozmowa między lekarzem a pacjentem to fundament medycyny i zazwyczaj pierwszy krok na drodze leczenia, które zaczyna się od analizy objawów i postawienia diagnozy. AMIE ma być w stanie prowadzić pogłębiony dialog diagnostyczny ukierunkowany na analizę potencjalnych objawów chorób w czasie rzeczywistym. Innymi słowy, system ma z jednej strony badać pacjenta zdalnie w oparciu o wyuczone informacje, z drugiej zaś pozyskiwać informacje, które mogą niejednoznacznie wskazywać na problemy zdrowotne.
Chociaż nowoczesne, duże modele językowe A.I. (LLM) są w stanie planować i używać bieżącego kontekstu do oceny nadrzędnych zadań, prowadzenie konsultacji diagnostycznych ma charakter zupełnie unikalny. Google Research przyznaje, że lekarz musi zebrać historię kliniczną, zadawać często nieoczywiste pytania, które mają pomóc w opracowaniu słusznej diagnozy. Z powyższego wyłania się obraz AMIE jako nie zwykłego bota konwersatoryjnego, ale zaawansowanego asystenta medycznego, który nie prowadzi rozmowy z użytkownikiem, ale pogłębiony dialog medyczny z pacjentem.
Badania testowe i szkolenie
Oprócz rozwoju i optymalizacji samych systemów sztucznej inteligencji do prowadzenia rozmów diagnostycznych istotny jest rozwój algorytmów A.I. odpowiedzialnych za pomiar jakości konsultacji i umiejętności komunikacji klinicznej w rzeczywistych sytuacjach. Google Research Team zapewnia, że AMIE jest trenowana w oparciu o pilotażowe systemy oceny stworzone na bazie istniejących wytycznych dla diagnostów medycznych. Działania systemu walidowane są w oparciu o umiejętności zbierania wywiadu, trafność diagnozy, zarządzanie kliniczne, umiejętności komunikacji klinicznej i budowania empatycznej relacji z pacjentem.
W procesie badań AMIE została poddana randomizowanemu badaniu double-blind. Próby polegają na przeprowadzaniu badania krzyżowego konsultacji tekstowych z walidowanymi aktorami wchodzącymi w rolę rzeczywistych pacjentów. Ci ostatni konsultują problemy medyczne zarówno ze sztuczną inteligencją, AMIE, jak i z rzeczywistymi diagnostami medycznymi. Badanie zostało przeprowadzone w standardzie zgodnym z wymaganiami strukturalnego egzaminu klinicznego OSCE, który wykorzystywany jest w instytucjach medycznych na całym świecie. W typowym OSCE lekarze mogą rotować przez różne stanowiska, gdzie wykonują symulacje diagnostyczne. Konsultacje odbywały się przy użyciu synchronicznego narzędzia do rozmów tekstowych, który naśladował interfejs Facebooka / WhatsApp, dzięki czemu zniwelowano efekt różnicy narzędzia. Zdaniem zespołu Google Research, AMIE pozytywnie przeszła wszystkie badania i testy, już teraz udowadniając zdolność do zastępowania diagnostów medycznych świadczących pomoc zdalna.
Ewaluacja badania i pomiar skuteczności
Badania diagnostyczne muszą być przede wszystkim bezpieczne i skuteczne. Z tego powodu Google przeprowadziło zaawansowaną procedurę badawczą mającą na celu weryfikację skuteczności diagnostyki oferowanej przez AMIE w porównaniu z diagnozami ekspertów.
Google testowało AMIE w zakresie skuteczności konsultacji przeprowadzanych z aktorami grających rolę rzeczywistych pacjentów. Skala porównawcza wykorzystywała diagnozy i konsultacje medyczne przeprowadzane przez 20 faktycznych lekarzy pierwszego kontaktu. Dobór lekarzy do danej próby odbywał się przy wykorzystaniu metody losowej.
W kolejnym kroku wszystkie diagnozy i przeprowadzone konsultacje – z udziałem lekarzy oraz AMIE – były szczegółowo analizowane przez specjalistów z branży. W tym procesie zastosowano wspomnianą metodę double-blind review. Do grupy analizowanych konsultacji dołączono 149 przypadków klinicznych opisanych przez specjalistów z Kanady, Wielkiej Brytanii i Indii. Badanie było randomizowane.
Google zaznacza, że badanie nie miało na celu emulować tradycyjnych ocen OSCE ani w formule badań bezpośrednich, ani zdalnych badań diagnostycznych. Zamiast tego eksperyment odzwierciedlał najczęstszy sposób interakcji konsumentów z dużymi modelami językowymi. Badanie dostosowano tak, aby rezultaty mogły być skalowalne w celu uzyskania prognoz dotyczących procesów i skuteczności diagnostyki.
Największe wyzwania szkoleniowe AMIE. Czy medyczna A.I. jest bezpieczna?
Sztuczna inteligencja w obrębie diagnostyki medycznej ma olbrzymi potencjał. Umiejętność uczenia maszynowego, podobnie jak w przypadku innych modeli, m.in. GPT 4.0, Llama-2, można wykorzystać do zwiększenia wiedzy źródłowej poprzez analizę rzeczywistych konwersacji przeprowadzanych między lekarzem a pacjentem. Pomijając na chwilę aspekty prawne, związane między innymi z tajemnicą lekarską i prawną ochroną konsultacji medycznych, trzeba jednak dostrzec dwa główne rodzaje zagrożeń i wyzwań technologicznych.
AMIE może mieć trudność w uchwyceniu wręcz nieograniczonego zespołu czynników warunkujących konkretny proces diagnostyczny. Na proces diagnostyki wpływają czynniki społeczne, demograficzne, geograficzne, historia medyczna, kontekst środowiskowy, zatrudnienie, specyfika chorób danego obszaru i znacznie więcej. Na skuteczność diagnostyki medycznej wpływają też niuanse: rodzaj relacji i sposób przeprowadzenia procesu przez lekarza diagnostę, jak i nawet sam wygląd i wyposażenie gabinetu medycznego w przypadku leczenia stacjonarnego. Wielość tych czynników sprawia, że proces skalowalności i wszechstronność zastosowania sztucznej inteligencji w diagnostyce medycznej wciąż mogą być kwestionowane, przynajmniej w zakresie stosowania powszechnego.
Drugi problem dotyczy trudności technicznych związanych z transkrypcjami rozmów przeprowadzanych przez lekarzy diagnostów. Często pojawiają się w nich nieoczywiste zwroty, żargon, humor, sarkazm. Interpretacja przekazów, których zrozumienie zależy od znajomości i prawidłowej detekcji kontekstu, w tym kontekstu kulturowego, jest zawsze najtrudniejszy, jeśli chodzi o szkolenie wielkich modeli językowych LLM. Jeżeli więc bot A.I. nie uchwyci tych różnic i nie zrozumie, o co faktycznie chodzi pacjentowi, konsekwencje z pozoru błahej pomyłki mogą być tragiczne. To wszystko sprawia, że tak naprawdę modele tworzone na potrzeby diagnostyki medycznej muszą być najlepszymi modelami A.I. w ogóle, a przynajmniej jeśli chodzi o zdolność do interpretacji promptu i selekcjonowania go do różnych danych źródłowych.
Kiedy A.I. ocenia pracę A.I. Innowacyjny system pętli AMIE
Jak wynika z przytaczanej publikacji Google Research, powyższe ryzyka i ograniczania zdołano przezwyciężyć za sprawą innowacyjnych metod badawczych. Postanowiono stworzyć wewnętrzną symulację z mechanizmami sprzężenia zwrotnego, które analizuje dialogi w obrębie diagnostyki w wirtualnym środowisku i w czasie rzeczywistym.
Środowisko wirtualne działa w sposób iteracyjny, polegający na powtarzaniu tej samej operacji w pętli z góry przez określoną liczbę razy do spełnienia określonego warunku. Mechanizm ten jest niezwykle skuteczny, a za sprawą dużej mocy obliczeniowej może być też bardzo szybki. Głównym wymogiem jest jednak operacjonalizacja kryteriów warunkujących przejście pętli.
W tym celu Google stworzyło dwupłaszczyznowe środowisko testowe AMIE o charakterze pętli:
- wewnętrzna pętla, w której AMIE staje się krytykiem zachowania “drugiej” AMIE w trakcie przeprowadzanych przez nią rozmów diagnostycznych.
- zewnętrzna pętla, w obrębie której zestaw udoskonalonych symulowanych dialogów był inkorporowany do kolejnych iteracji dostosowywania.
Po przejściu iteracji pętli zewnętrznej nowa wersja AMIE wchodziła do pierwszej pętli wewnętrznej – wyposażona już we wnioski z wcześniejszego procesu. W ten sposób stworzono niekończący się cykl samouczenia wyposażony w relację autoweryfikacji i krytyki.
Niekończący się cykl doskonalenia. AMIE to prawdziwa rewolucja
Według zapowiedzi zadbano również o płaszczyznę komunikacyjną. W procesie ciągłego uczenia się nie może dojść do sytuacji, w której skuteczność diagnozy będzie stopniowo zmniejszać efektywne prowadzenie komunikacji, zwłaszcza że ta druga płaszczyzna również w sposób “miękki” oddziałuje na proces stawiania diagnozy medycznej. Z tego powodu AMIE została wyposażona w strategię łańcucha rozumowania w czasie inferencji, która umożliwiła stopniowe udoskonalanie swojej odpowiedzi w zależności od aktualnej rozmowy. Ma to istotnie pomagać w kreowaniu uzasadnionych i prawidłowych merytorycznie odpowiedzi zgodnych z wykrytym kluczem interpretacyjnym rozmowy.
Dzięki powyższym udoskonaleniom AMIE ma już teraz być w stanie w pełni wykorzystywać umiejętności i wiedzę w warunkach medycznych. Może być skalowana, a proces wielopłaszczyznowych, nieskończonych pętli ma owocować logarytmicznym przyrostem wiedzy medycznej i skuteczności diagnostycznej. Statyczny korpus danych medycznych, który cały czas podlega modyfikacjom i rozbudowywania, de facto w dużym stopniu stał się tylko podstawą do samodzielnie ewoluującego środowiska wiedzy. Tym samym AMIE można śmiało określić jako jeden z największych sukcesów w najnowszej historii prac nad sztuczną inteligencją w ogóle.
AMIE zdeklasuje lekarzy diagnostów?
O sztucznej inteligencji mówi się wiele, a górnolotnych fraz z pewnością nie brakuje. W całym tym zgiełku informacji zaczyna dominować sensacja nieoparta na faktach, a jedynie subiektywnych prognozach. Są jednak momenty, kiedy to dane jasno wskazują na konieczność przeprowadzenia szeroko idących zmian. Czy tak jest w przypadku diagnostyki medycznej?
Z opublikowanych rezultatów badań klinicznych AMIE wynika, że AMIE już teraz deklasuje lekarzy diagnostów. W badaniu zweryfikowano jakość rozmowy diagnostycznej i zdolności do rozumienia pacjentów. Oceniano procesy diagnostyczne realizowane przez AMIE oraz przez specjalistycznych lekarzy. Skuteczność przeprowadzenia procesu diagnozy AMIE wynosi aż 87,5%. W 28 z 32 kryteriów AMIE osiągnęła lepsze wyniki niż lekarze pierwszego kontaktu, podczas gdy w czterech pozostałych kryteriach jakość była porównywalna.
Mankamentem tych danych jest próba, która nie nosi znamion relewancji choćby z uwagi na ograniczenie ilościowe. Z pewnością jednak Google nawet w tej chwili prowadzi dalsze, bardziej zaawansowane badania, których wyniki poznamy niebawem.
AMIE – innowacyjny system diagnostyki medycznej Google. Podsumowanie
Od lat wiele mówiło się o perspektywach implementacji sztucznej inteligencji w obrębie nauk medycznych. Diagnostyka medyczna wspierana przez A.I. może zyskać wiele, a najnowsza publikacja Google Research Team, zespołu odpowiedzialnego za AMIE, tylko to potwierdza.
AMIE, czyli Articulate Medical Intelligence Explorer, to nie tylko nowoczesny system badawczy A.I. wykorzystujący LLM. To specjalistyczne, oryginalne oprogramowanie, które ma zdolność do efektywnego nawiązywania kontaktu z pacjentem i stawianiu diagnozy medycznej. Proces nauki odbywa się przy użyciu wiedzy specjalistycznej. Najważniejsze jest jednak to, że AMIE zbudowana jest w oparciu o niekończący się cykl autopoprawek o charakterze zapętlających się płaszczyzn: diagnostycznej i kontrolnej. Mówiąc kolokwialnie, AMIE składa się tak naprawdę z dwóch niezależnych AMIE, które wypracowują w oparciu o mechanizmy kontrolne skuteczne prompty.
Badania są jednoznaczne: AMIE pod względem skuteczności diagnozy przewyższa lekarzy pierwszego kontaktu. Próba jest jeszcze niewielka, dlatego trudno przesądzać, ale pewne jest, że narzędzie Google ma ogromny potencjał. Za sprawą złożonej, oryginalnej konstrukcji systemu AMIE może dobrze radzić sobie z wyzwaniami, które dotyczą zarówno aspektów technicznych, medycznych jak i społecznych i kulturowych. Skomplikowany proces diagnozy, silnie uwarunkowany różnorodnymi czynnikami, od społecznych po środowiskowe, stanowi realne wyzwanie dla skalowalności i wszechstronności zastosowania sztucznej inteligencji, z którym AMIE radzi sobie doskonale. Strategia łańcucha rozumowania w czasie inferencji pozwala na stopniowe doskonalenie odpowiedzi systemu, uwzględniając aktualny kontekst rozmowy. Iteracyjny charakter systemu, jeśli jego skuteczność zostanie potwierdzona w kolejnych publikacjach, może stać się wzorem dla tworzenia usługowych modułów LLM aplikowanych w dziedzinach, w których zweryfikowanie informacji ma nadrzędne znaczenie.
Jak widać, Google Research postawiło naprawdę poprzeczkę wysoko. Z zainteresowaniem będziemy przyglądać się rozwojowi AMIE. Z pewnością niebawem usłyszymy również nieco więcej o największych projektach konkurentów Google w tym zakresie.
