ChatGPT 4.0 от OpenAI правильно ответил на 85% вопросов клинического неврологического экзамена, превысив средний балл человека (73,8%). Это достижение в исследовании, подтверждающем концепцию, указывает на потенциал ИИ в клинической неврологии. В исследовании, проведенном исследователями из Университетской больницы Гейдельберга и Немецкого онкологического исследовательского центра, использовались как ChatGPT 3.5, так и ChatGPT 4.0.
Сравнение со старыми версиями и производительность человека
Хотя ChatGPT 4.0 достиг 85% успеха, ChatGPT 3.5 набрал 66,8%. Обе версии ChatGPT постоянно использовали уверенный язык, даже если он был неправильным. Результаты показывают, что, хотя ChatGPT может точно отвечать на вопросы с несколькими вариантами ответов, это не означает способности заниматься клинической медициной или принимать клинические решения.
Еще слабее в мышлении высшего порядка
В исследовании использовался банк вопросов Американского совета психиатрии и неврологии (ABPN) и Европейского совета неврологии. Производительность ChatGPT подчеркнула его сильные стороны в поведенческих, когнитивных и психологических категориях, но показала более низкую производительность в задачах, требующих мышления более высокого порядка, по сравнению с задачами мышления более низкого порядка. В исследовании использовались вопросы, которые оценивали как базовое понимание, так и способность применять, анализировать или оценивать информацию.
Исследователи: будьте осторожны
Результаты показывают, что большие языковые модели, такие как ChatGPT могут иметь значительные применения в клинической неврологии с дальнейшими усовершенствованиями. Однако исследователи предостерегают от чрезмерного доверия к этим моделям при решении когнитивных задач высокого порядка. Также важно отметить, что модели обучались на обширных текстовых данных, но не имели возможностей поиска в Интернете. Эксперты подчеркивают, что любое применение трансформаторной технологии в клинических или образовательных учреждениях требует тщательного человеческого подтверждения и проверки фактов.
Source: ChatGPT демонстрирует знания на экзамене по неврологии