В скорошно проучване, публикувано в The Annals of Family Medicine, изследователите оцениха ефикасността на Chat Generative Pretrained Transformer (ChatGPT) при обобщаване на медицински резюмета в помощ на лекарите. Проучването имаше за цел да определи качеството, точността и пристрастието в обобщенията, генерирани от ChatGPT, предоставяйки представа за потенциала му като инструмент за смилане на огромни количества медицинска литература на фона на времеви ограничения, пред които са изправени здравните специалисти.
Високи оценки за качество и точност
Проучването използва ChatGPT за кондензиране на 140 медицински резюмета от 14 различни списания, намалявайки съдържанието със средно 70%. Въпреки някои неточности и халюцинации, открити в малка част от резюметата, лекарите оцениха резюметата високо за качество и точност. Констатациите показват, че ChatGPT има потенциала да помогне на лекарите при ефикасен преглед на медицинска литература, предлагайки кратки и точни резюмета сред огромния обем информация.
Изследователите избраха 10 статии от всяко от 14 списания, обхващащи различни медицински теми и структури. Те възложиха на ChatGPT да обобщи тези статии и оцени генерираните резюмета за качество, точност, пристрастност и уместност в десет медицински области. Проучването установи, че ChatGPT успешно съкрати медицински резюмета със средно 70%, като спечели високи оценки от рецензенти на лекари за качество и точност.
Последици за здравеопазването
Въпреки високите оценки, проучването установи сериозни неточности и халюцинации в малък брой резюмета. Тези грешки варират от пропуснати критични данни до неправилно тълкуване на дизайна на изследването, което потенциално може да промени тълкуването на резултатите от изследването. Въпреки това представянето на ChatGPT при обобщаване на медицински резюмета беше счетено за надеждно, с наблюдавани минимални отклонения.
Въпреки че ChatGPT демонстрира силно привеждане в съответствие с човешките оценки на ниво списание, неговото представяне при определяне на уместността на отделни статии за конкретни медицински специалности беше по-малко впечатляващо. Това несъответствие подчертава ограничение в способността на ChatGPT да идентифицира точно уместността на отделни статии в по-широкия контекст на медицинските специалности.
Проучването предоставя ценна представа за потенциала на AI, особено ChatGPT, за подпомагане на лекарите при ефикасен преглед на медицинска литература. Въпреки че ChatGPT показва обещание при обобщаване на медицински резюмета с високо качество и точност, необходими са допълнителни изследвания за справяне с ограниченията и подобряване на ефективността му в специфични медицински контексти.
Бъдещи изследвания могат да се съсредоточат върху усъвършенстване на способността на ChatGPT да разпознава уместността на отделни статии за конкретни медицински специалности. Освен това, усилията за смекчаване на неточностите и халюцинациите в генерираните обобщения биха могли допълнително да подобрят полезността на инструментите за изкуствен интелект в здравните заведения.
Източник: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/