Sztuczna inteligencja „oblała" egzamin z interny. Badania prowadzili naukowcy z CM UMK

2024-04-11, 20:21  PAP/Agata Raczek/Redakcja
Sztuczna inteligencja na razie nie zastąpi lekarza. Oparty na niej ChatGPT oblał egzamin specjalizacyjny z interny. Sprawdzili to i opisali naukowcy z Collegium Medicum Uniwersytetu Mikołaja Kopernika w Toruniu/fot. zdjęcie wygenerowane przez AI/Pixabay

Sztuczna inteligencja na razie nie zastąpi lekarza. Oparty na niej ChatGPT oblał egzamin specjalizacyjny z interny. Sprawdzili to i opisali naukowcy z Collegium Medicum Uniwersytetu Mikołaja Kopernika w Toruniu/fot. zdjęcie wygenerowane przez AI/Pixabay

Sztuczna inteligencja na razie nie zastąpi lekarza. Oparty na niej ChatGPT oblał egzamin specjalizacyjny z interny. System nie poradził sobie również z zadaniami z innych dziedzin medycyny, co sprawdzili i opisali naukowcy z Collegium Medicum Uniwersytetu Mikołaja Kopernika w Toruniu.

– Jest mało prawdopodobne, aby w najbliższej przyszłości sztuczna inteligencja mogła zastąpić pracowników służby zdrowia, szczególnie w dziedzinie chorób wewnętrznych. Nawet najbardziej wyrafinowane algorytmy i technologie nie mogą diagnozować i leczyć chorób bez udziału człowieka - stwierdzili naukowcy z Collegium Medicum UMK, po tym, jak w zaprojektowanym przez nich badaniu ChatGPT „oblał” egzamin z interny.

Całkowita opieka nad pacjentem?
Ogromny postęp, jaki dokonał się w ostatnich latach w dziedzinie sztucznej inteligencji, spowodował, że wiele prac, dotychczas zarezerwowanych dla ludzi, mogą już wykonywać modele i algorytmy. Także nowoczesna medycyna zaczyna korzystać z możliwości AI (...).
Jak jednak pokazały wyniki najnowszego badania ekspertów z Collegium Medicum im. Ludwika Rydygiera w Bydgoszczy, o których poinformował Marcin Behrendt na portalu UMK, nie nadszedł jeszcze ten moment, kiedy będziemy mogli powierzyć sztucznej inteligencji całkowitą opiekę nad chorymi, szczególnie w dziedzinie chorób wewnętrznych, czyli interny.

– Interna nazywana jest królową nauk medycznych. Od lekarzy specjalizujących się w chorobach wewnętrznych wymagana jest rozległa wiedza, a także duża koncentracja i samodyscyplina – napisali autorzy omawianego badania na łamach „Polish Archives of Internal Medicine" (https://www.mp.pl/paim/issue/article/16608/).

– Zgodnie z polskim prawem lekarz może zostać specjalistą chorób wewnętrznych po ukończeniu szkolenia specjalistycznego i złożeniu egzaminu certyfikacyjnego. Zaliczenie składa się z 2 elementów: testu wielokrotnego wyboru składającego się ze 120 pytań z 5 możliwymi odpowiedziami, z których tylko 1 jest prawidłowa, oraz egzaminu ustnego, do którego można przystąpić dopiero po pozytywnym zaliczeniu testu pisemnego (…) – wyjaśnili.

Pierwsze badania na świecie
Ponieważ słynny ChatGPT przeszedł pozytywnie takie testy, jak amerykański egzamin licencjonowania medycznego (USMLE), europejski egzamin z podstawowej kardiologii czy egzamin w ramach programu oceny wiedzy okulistycznej (OKAP), polscy naukowcy postanowili zbadać, czy model ten będzie w stanie zdać polski egzamin wymagany do uzyskania tytułu specjalisty chorób wewnętrznych. Jak podkreślają, ich badanie było pierwszym na świecie, w którym podjęto się oceny AI w dziedzinie interny.
Chatowi zaprezentowali łącznie 1191 pytań, jakie pojawiły się na egzaminach certyfikacyjnych w latach 2013-2017. Usunięto tylko te zadania, których z przyczyn technicznych (np. zawierających obrazki) nie byłby w stanie rozwiązać.
Autorzy podzielili je na różne kategorie, klasyfikując na podstawie stopnia złożoności (jedna poprawna odpowiedź czy kilka), stopnia trudności oraz długości.
Okazało się, że wskaźnik poprawnych odpowiedzi, który uzyskał ChatGPT, wahał się od 47,5 proc. do 53,33 proc. (mediana 49,37 proc.). Było to więc zdecydowanie za mało, aby zaliczyć egzamin. "We wszystkich sesjach wyniki ChatGPT były znacznie gorsze od wyników egzaminowanych ludzi, których wyniki wahały się między 65,21 proc. a 71,95 proc. – zaznaczyli naukowcy z Bydgoszczy. Minimalny wymóg to 60 proc. poprawnych odpowiedzi.

Najkrótsze pytania były najłatwiejsze

Wyniki modelu językowego wykazały znaczące różnice w zależności od długości pytania. Chat najlepiej radził sobie z pytaniami najkrótszymi, następnie długimi, bardzo długimi, a na końcu krótkimi i tymi o średniej długości. Co ciekawe, u ludzi wyglądało to bardzo podobnie. W odniesieniu do trudności pytań odkryto, że poprawność odpowiedzi ChatuGPT stopniowo spadała wraz ze wzrostem trudności zadania, co także jest zgodne z ludzkimi zachowaniami.

Dodatkowo sprawdzono skuteczność AI w odpowiadaniu na pytania z poszczególnych dziedzin medycyny wewnętrznej. Okazało się, że najlepiej radził sobie tymi z zakresu alergologii (71,43 proc.), a następnie chorób zakaźnych (55,26 proc.), endokrynologii (54,64 proc.), nefrologii (53,51 proc.), reumatologii (52,83 proc.), hematologii (51,51 proc.), gastroenterologii (50,97 proc.), pulmonologii (46,71 proc.) i diabetologii (45,1 proc.), a najgorzej z kardiologią (43,72 proc.).

Robot bardziej empatyczny
– W ostatnich latach sztuczna inteligencja poczyniła znaczne postępy i zyskała znaczną popularność w różnych dziedzinach - napisali autorzy w podsumowaniu swojej publikacji. – Jej dotychczasowe zastosowania w opiece zdrowotnej obejmowały np. katalogowanie i interpretację dużych zbiorów danych czy opracowywanie i wdrażanie algorytmów diagnostyczno-terapeutycznych. AI wydaje się być bardzo pomocna, biorąc pod uwagę niedofinansowanie systemów opieki zdrowotnej, problem wypalenia zawodowego wśród personelu medycznego i niedobory kadrowe.

Jednak, co podkreślili, z przeprowadzonego przez nich badania (jak i kilku analogicznych) wynika, że możliwości sztucznej inteligencji są nadal mocno ograniczone i obecnie trudno jest jej konkurować z wiedzą fachową wyszkolonych pracowników ochrony zdrowia, zwłaszcza w dziedzinie chorób wewnętrznych.
– Ale nadal medycyna jest dziedziną, w której wykorzystanie modeli językowych może okazać się korzystne – dodali.
Jako przykład podali empatyczne zachowanie ChatGPT w stosunku do pacjentów. Niedawne badanie porównujące odpowiedzi lekarzy i chatbotów na zapytania medyczne zamieszczane na publicznych forach wykazało, że 79 proc. pacjentów uznało odpowiedzi udzielane przez AI za bardziej empatyczne i wszechstronne niż te oferowane przez ludzkich ekspertów.
– Bez wątpienia warto więc śledzić rozwój sztucznej inteligencji, zwłaszcza ChatuGPT, aby móc skorzystać z jej szybkiego postępu. Ale jest mało prawdopodobne, aby sztuczna inteligencja była w stanie w najbliższej przyszłości zastąpić pracowników ochrony zdrowia, szczególnie w dziedzinie chorób wewnętrznych; nawet najbardziej wyrafinowane algorytmy i technologie wspomagane przez sztuczną inteligencję nie są w stanie diagnozować i leczyć chorób bez udziału człowieka – podsumowali naukowcy.

Badacze zaznaczyli też, że ich eksperyment miał kilka ograniczeń. Po pierwsze egzamin przeprowadzony był w języku polskim, a sam ChatGPT zaprojektowano po angielsku. Poza tym model ten podlega regularnym aktualizacjom, więc wersja zastosowana w badaniu nie była tą najnowszą w momencie publikacji.

Relacja Agaty Raczek - mówi dr Szymon Suwała

Region

Krzysztof Kukucki: Nie obiecywałem prezydentowi Włocławka, że nie wystartuję w wyborach

Krzysztof Kukucki: Nie obiecywałem prezydentowi Włocławka, że nie wystartuję w wyborach

2024-04-11, 21:00
W Polskim Dniu Radia podglądaliśmy pracę dziennikarzy PR PiK [wideo, zdjęcia, życzenia]

W Polskim Dniu Radia podglądaliśmy pracę dziennikarzy PR PiK [wideo, zdjęcia, życzenia]

2024-04-11, 20:45
Wojciech Piniewski o wykluczeniu i gorszym sorcie. Po oświadczeniu Arkadiusza Fajoka

Wojciech Piniewski o wykluczeniu i gorszym sorcie. Po oświadczeniu Arkadiusza Fajoka

2024-04-11, 19:26
Z olimpijskiego szczytu prosto na studia. Trzy licealistki z indeksami UKW Bydgoszcz

Z olimpijskiego szczytu prosto na studia. Trzy licealistki z indeksami UKW Bydgoszcz

2024-04-11, 18:36
Góra Św. Wawrzyńca świadkiem pradawnej historii. W Kałdusie powstanie muzeum

Góra Św. Wawrzyńca świadkiem pradawnej historii. W Kałdusie powstanie muzeum

2024-04-11, 17:41
Wampirka z Pnia będzie jak żywa. Szwedzki rzeźbiarz-archeolog odtworzy jej twarz [wideo, zdjęcia]

Wampirka z Pnia będzie jak żywa. Szwedzki rzeźbiarz-archeolog odtworzy jej twarz [wideo, zdjęcia]

2024-04-11, 17:00
Bydgoska prokuratura przedstawiła zarzuty byłemu prezesowi szwajcarskiej spółki Orlenu

Bydgoska prokuratura przedstawiła zarzuty byłemu prezesowi szwajcarskiej spółki Orlenu

2024-04-11, 15:56
Pracownik wciągnięty przez maszynę do cięcia kartonów. Jest w ciężkim stanie

Pracownik wciągnięty przez maszynę do cięcia kartonów. Jest w ciężkim stanie

2024-04-11, 15:36
Wybierali się na wycieczkę do Warszawy. Autokar nie pojechał, kierowca dostał mandat

Wybierali się na wycieczkę do Warszawy. Autokar nie pojechał, kierowca dostał mandat

2024-04-11, 15:30
Ważne: nasze strony wykorzystują pliki cookies.

Używamy informacji zapisanych za pomocą cookies i podobnych technologii m.in. w celach reklamowych i statystycznych oraz w celu dostosowania naszych serwisów do indywidualnych potrzeb użytkowników. Mogą też stosować je współpracujący z nami reklamodawcy, firmy badawcze oraz dostawcy aplikacji multimedialnych. W programie służącym do obsługi internetu można zmienić ustawienia dotyczące cookies. Korzystanie z naszych serwisów internetowych bez zmiany ustawień dotyczących cookies oznacza, że będą one zapisane w pamięci urządzenia. Więcej informacji można znaleźć w naszej Polityce prywatności

Zamieszczone na stronach internetowych www.radiopik.pl materiały sygnowane skrótem „PAP” stanowią element Serwisów Informacyjnych PAP, będących bazą danych, których producentem i wydawcą jest Polska Agencja Prasowa S.A. z siedzibą w Warszawie. Chronione są one przepisami ustawy z dnia 4 lutego 1994 r. o prawie autorskim i prawach pokrewnych oraz ustawy z dnia 27 lipca 2001 r. o ochronie baz danych. Powyższe materiały wykorzystywane są przez Polskie Radio Regionalną Rozgłośnię w Bydgoszczy „Polskie Radio Pomorza i Kujaw” S.A. na podstawie stosownej umowy licencyjnej. Jakiekolwiek wykorzystywanie przedmiotowych materiałów przez użytkowników Portalu, poza przewidzianymi przez przepisy prawa wyjątkami, w szczególności dozwolonym użytkiem osobistym, jest zabronione. PAP S.A. zastrzega, iż dalsze rozpowszechnianie materiałów, o których mowa w art. 25 ust. 1 pkt. b) ustawy o prawie autorskim i prawach pokrewnych, jest zabronione.

Rozumiem i wchodzę na stronę