Sztuczna inteligencja „oblała" egzamin z interny. Badania prowadzili naukowcy z CM UMK

Sztuczna inteligencja na razie nie zastąpi lekarza. Oparty na niej ChatGPT oblał egzamin specjalizacyjny z interny. Sprawdzili to i opisali naukowcy z Collegium Medicum Uniwersytetu Mikołaja Kopernika w Toruniu/fot. zdjęcie wygenerowane przez AI/Pixabay

Sztuczna inteligencja na razie nie zastąpi lekarza. Oparty na niej ChatGPT oblał egzamin specjalizacyjny z interny. System nie poradził sobie również z zadaniami z innych dziedzin medycyny, co sprawdzili i opisali naukowcy z Collegium Medicum Uniwersytetu Mikołaja Kopernika w Toruniu.

– Jest mało prawdopodobne, aby w najbliższej przyszłości sztuczna inteligencja mogła zastąpić pracowników służby zdrowia, szczególnie w dziedzinie chorób wewnętrznych. Nawet najbardziej wyrafinowane algorytmy i technologie nie mogą diagnozować i leczyć chorób bez udziału człowieka - stwierdzili naukowcy z Collegium Medicum UMK, po tym, jak w zaprojektowanym przez nich badaniu ChatGPT „oblał” egzamin z interny.

Całkowita opieka nad pacjentem?
Ogromny postęp, jaki dokonał się w ostatnich latach w dziedzinie sztucznej inteligencji, spowodował, że wiele prac, dotychczas zarezerwowanych dla ludzi, mogą już wykonywać modele i algorytmy. Także nowoczesna medycyna zaczyna korzystać z możliwości AI (...).
Jak jednak pokazały wyniki najnowszego badania ekspertów z Collegium Medicum im. Ludwika Rydygiera w Bydgoszczy, o których poinformował Marcin Behrendt na portalu UMK, nie nadszedł jeszcze ten moment, kiedy będziemy mogli powierzyć sztucznej inteligencji całkowitą opiekę nad chorymi, szczególnie w dziedzinie chorób wewnętrznych, czyli interny.

– Interna nazywana jest królową nauk medycznych. Od lekarzy specjalizujących się w chorobach wewnętrznych wymagana jest rozległa wiedza, a także duża koncentracja i samodyscyplina – napisali autorzy omawianego badania na łamach „Polish Archives of Internal Medicine" (https://www.mp.pl/paim/issue/article/16608/).

– Zgodnie z polskim prawem lekarz może zostać specjalistą chorób wewnętrznych po ukończeniu szkolenia specjalistycznego i złożeniu egzaminu certyfikacyjnego. Zaliczenie składa się z 2 elementów: testu wielokrotnego wyboru składającego się ze 120 pytań z 5 możliwymi odpowiedziami, z których tylko 1 jest prawidłowa, oraz egzaminu ustnego, do którego można przystąpić dopiero po pozytywnym zaliczeniu testu pisemnego (…) – wyjaśnili.

Pierwsze badania na świecie
Ponieważ słynny ChatGPT przeszedł pozytywnie takie testy, jak amerykański egzamin licencjonowania medycznego (USMLE), europejski egzamin z podstawowej kardiologii czy egzamin w ramach programu oceny wiedzy okulistycznej (OKAP), polscy naukowcy postanowili zbadać, czy model ten będzie w stanie zdać polski egzamin wymagany do uzyskania tytułu specjalisty chorób wewnętrznych. Jak podkreślają, ich badanie było pierwszym na świecie, w którym podjęto się oceny AI w dziedzinie interny.
Chatowi zaprezentowali łącznie 1191 pytań, jakie pojawiły się na egzaminach certyfikacyjnych w latach 2013-2017. Usunięto tylko te zadania, których z przyczyn technicznych (np. zawierających obrazki) nie byłby w stanie rozwiązać.
Autorzy podzielili je na różne kategorie, klasyfikując na podstawie stopnia złożoności (jedna poprawna odpowiedź czy kilka), stopnia trudności oraz długości.
Okazało się, że wskaźnik poprawnych odpowiedzi, który uzyskał ChatGPT, wahał się od 47,5 proc. do 53,33 proc. (mediana 49,37 proc.). Było to więc zdecydowanie za mało, aby zaliczyć egzamin. "We wszystkich sesjach wyniki ChatGPT były znacznie gorsze od wyników egzaminowanych ludzi, których wyniki wahały się między 65,21 proc. a 71,95 proc. – zaznaczyli naukowcy z Bydgoszczy. Minimalny wymóg to 60 proc. poprawnych odpowiedzi.

Najkrótsze pytania były najłatwiejsze
Wyniki modelu językowego wykazały znaczące różnice w zależności od długości pytania. Chat najlepiej radził sobie z pytaniami najkrótszymi, następnie długimi, bardzo długimi, a na końcu krótkimi i tymi o średniej długości. Co ciekawe, u ludzi wyglądało to bardzo podobnie. W odniesieniu do trudności pytań odkryto, że poprawność odpowiedzi ChatuGPT stopniowo spadała wraz ze wzrostem trudności zadania, co także jest zgodne z ludzkimi zachowaniami.

Dodatkowo sprawdzono skuteczność AI w odpowiadaniu na pytania z poszczególnych dziedzin medycyny wewnętrznej. Okazało się, że najlepiej radził sobie tymi z zakresu alergologii (71,43 proc.), a następnie chorób zakaźnych (55,26 proc.), endokrynologii (54,64 proc.), nefrologii (53,51 proc.), reumatologii (52,83 proc.), hematologii (51,51 proc.), gastroenterologii (50,97 proc.), pulmonologii (46,71 proc.) i diabetologii (45,1 proc.), a najgorzej z kardiologią (43,72 proc.).

Robot bardziej empatyczny
– W ostatnich latach sztuczna inteligencja poczyniła znaczne postępy i zyskała znaczną popularność w różnych dziedzinach - napisali autorzy w podsumowaniu swojej publikacji. – Jej dotychczasowe zastosowania w opiece zdrowotnej obejmowały np. katalogowanie i interpretację dużych zbiorów danych czy opracowywanie i wdrażanie algorytmów diagnostyczno-terapeutycznych. AI wydaje się być bardzo pomocna, biorąc pod uwagę niedofinansowanie systemów opieki zdrowotnej, problem wypalenia zawodowego wśród personelu medycznego i niedobory kadrowe.

Jednak, co podkreślili, z przeprowadzonego przez nich badania (jak i kilku analogicznych) wynika, że możliwości sztucznej inteligencji są nadal mocno ograniczone i obecnie trudno jest jej konkurować z wiedzą fachową wyszkolonych pracowników ochrony zdrowia, zwłaszcza w dziedzinie chorób wewnętrznych.
– Ale nadal medycyna jest dziedziną, w której wykorzystanie modeli językowych może okazać się korzystne – dodali.
Jako przykład podali empatyczne zachowanie ChatGPT w stosunku do pacjentów. Niedawne badanie porównujące odpowiedzi lekarzy i chatbotów na zapytania medyczne zamieszczane na publicznych forach wykazało, że 79 proc. pacjentów uznało odpowiedzi udzielane przez AI za bardziej empatyczne i wszechstronne niż te oferowane przez ludzkich ekspertów.
– Bez wątpienia warto więc śledzić rozwój sztucznej inteligencji, zwłaszcza ChatuGPT, aby móc skorzystać z jej szybkiego postępu. Ale jest mało prawdopodobne, aby sztuczna inteligencja była w stanie w najbliższej przyszłości zastąpić pracowników ochrony zdrowia, szczególnie w dziedzinie chorób wewnętrznych; nawet najbardziej wyrafinowane algorytmy i technologie wspomagane przez sztuczną inteligencję nie są w stanie diagnozować i leczyć chorób bez udziału człowieka – podsumowali naukowcy.

Badacze zaznaczyli też, że ich eksperyment miał kilka ograniczeń. Po pierwsze egzamin przeprowadzony był w języku polskim, a sam ChatGPT zaprojektowano po angielsku. Poza tym model ten podlega regularnym aktualizacjom, więc wersja zastosowana w badaniu nie była tą najnowszą w momencie publikacji.