Nepouzdani AI četbotovi dovode živote u opasnost
AI četbotovi pružaju netačne i nedosledne informacije koje mogu imati ozbiljne posledice po zdravlje pacijenata.
Nova studija Oksfordskog instituta za internet i Nafilid odeljenja za nauke o primarnoj zdravstvenoj zaštiti na Univerzitetu u Oksfordu pokazala je da, iako su ovi modeli danas veoma dobri na standardizovanim testovima medicinskog znanja, predstavljaju rizik za stvarne korisnike koji traže pomoć u vezi sa sopstvenim simptomima.
Ista poruka, drugačiji saveti
U jednom primeru, dva korisnika su poslala veoma slične poruke opisujući simptome subarahnoidalnog krvarenja, ali su dobili suprotne savete. Dok je jednom korisniku ispravno preporučeno da odmah potraži hitnu medicinsku pomoć, drugom je rečeno da legne u zamračenu prostoriju.
Učesnici studije koristili su velike jezičke modele kako bi identifikovali zdravstvena stanja i odlučili o odgovarajućem daljem postupku, poput odlaska kod lekara opšte prakse ili u bolnicu, na osnovu informacija iz niza specifičnih medicinskih scenarija koje su razvili lekari.
Istraživači su otkrili da ljudi koji su koristili ove modele nisu donosili bolje odluke od onih koji su se oslanjali na internet pretrage ili čak sopstveni sud.
Davali veoma različite odgovore
Deo problema bio je u tome što učesnici često nisu znali koje informacije treba da pruže modelima kako bi dobili tačan savet. Četbotovi su imali tendenciju da daju veoma različite odgovore na osnovu malih varijacija u postavljenim pitanjima.
Istovremeno, odgovori koje su učesnici dobijali često su bili kombinacija dobrih i loših preporuka, što je otežavalo donošenje prave odluke.
„Ovi nalazi ukazuju na teškoće u razvoju AI sistema koji zaista mogu da podrže ljude u osetljivim i visokorizičnim oblastima poput zdravstva“, rekla je dr Rebeka Pejn, vodeća lekarka u studiji.
AI još nije spremna da preuzme ulogu lekara
„Uprkos velikom uzbuđenju, AI još nije spremna da preuzme ulogu lekara. Pacijenti moraju biti svesni da postavljanje pitanja velikim jezičkim modelima o sopstvenim simptomima može biti opasno. To može dovesti do pogrešnih dijagnoza i propuštanja trenutaka kada je hitna pomoć neophodna“.
Ranije ove godine, OpenAI je saopštio da ČetGPT obrađuje gotovo dva miliona upita o zdravlju svake nedelje, pri čemu oko četvrtine od 800 miliona redovnih korisnika postavlja pitanja vezana za zdravstvenu negu.
Saopštenje je usledilo u trenutku kada je kompanija lansirala ChatGPT Health, dok je Antropik predstavio Claude for Healthcare. Amazon One Medical približno je u isto vreme uveo svog AI asistenta za zdravlje.
Međutim, istraživači sa Oksforda upozoravaju da trenutne metode evaluacije velikih jezičkih modela ne odražavaju složenost interakcije sa ljudskim korisnicima poput kliničkih ispitivanja za nove lekove. Ističu da bi ove sisteme trebalo testirati u stvarnim uslovima pre njihove široke primene.
„Nesklad između rezultata na testovima i stvarnih performansi trebalo bi da bude upozorenje za developere i regulatore AI sistema. Naš nedavni rad o validnosti u testovima pokazuje da mnoge evaluacije ne mere ono što tvrde da mere. A ova studija jasno pokazuje zašto je to važno“, rekao je viši autor studije dr Adam Mahdi.
„Ne možemo se oslanjati isključivo na standardizovane testove da bismo utvrdili da li su ovi sistemi bezbedni za javnu upotrebu. Kao što zahtevamo klinička ispitivanja za nove lekove, AI sistemi moraju proći rigorozna testiranja. I to sa raznovrsnim, stvarnim korisnicima kako bismo razumeli njihove stvarne mogućnosti u visokorizičnim oblastima poput zdravstva“.
Ema Vulkot, saradnica Forbes