Studiu: Chatboţii greşesc diagnosticând în peste 80% din cazuri

Un nou studiu a concluzionat că chatboţii comuni, precum ChatGPT şi Gemini, oferă diagnostice incorecte în mai mult de 80% din situaţii fără informaţii suficiente. Potrivit acestui studiu, citat de Nrws.ro, modelele de inteligenţă artificială au fost testate pe baza unor viniete clinice derivate din texte medicale standardizate.

👉 Metodologia studiului și evaluarea modelelor lingvistice

Realizat de Mass General Brigham din Massachusetts și publicat în Jama Network Open, studiul a implicat evaluarea a 21 de modele lingvistice, inclusiv cele dezvoltate de OpenAI, Anthropic, Google, xAI și DeepSeek. Chatboţii au fost expuşi la informaţii medicale esenţiale, cum ar fi constatările consultaţiilor şi rezultatele analizelor, pentru a evalua precizia diagnosticului lor.

Experţii au constatat că atunci când nu au acces la informaţii complete, toate modelele testate au generat erori semnificative. În situaţiile în care li s-au furnizat toate datele necesare, performanţa lor s-a îmbunătăţit, totuşi rata de erori rămânea de peste 40%.

👉 Impactul halucinaţiilor asupra acurateţei diagnosticului

Concluziile cercetătorilor sugerează că efectivitatea chatboţilor în domeniul medical este strâns legată de volumul de date disponibile. Chiar și atunci când primesc informaţii complete, modelele pot induce utilizatorii în eroare, datorită fenomenului denumit „halucinaţii”, prin care acestea generează răspunsuri bazate pe date inexacte sau inexistente.

Unele modele au demonstrat că pot oferi diagnostice corecte pentru 90% dintre pacienţi atunci când au informaţii complete, însă riscurile generale asociate cu utilizarea acestora rămân semnificative.