新華社北京12月21日電 《英國醫學雜誌》最新發表的一項研究顯示,在廣泛用於檢測阿爾茨海默病早期症狀的測試中,大部分參與測試的人工智慧大語言模型都表現出相當於人類輕度認知障礙的跡象。儘管這只是一項基於觀察的研究,但新發現挑戰了人工智慧將很快取代人類醫生的假設。
過去幾年,人工智慧尤其是大語言模型生成能力取得了巨大進步。在醫學領域,這些發展引發了猜測:這些大語言模型能在醫療任務上超越人類醫生嗎?儘管先前的多項研究表明,大語言模型在一系列醫學診斷任務上表現非常出色,但它們的認知能力變化還需要進一步驗證。
為填補這一知識空白,以色列哈達薩醫療中心等機構的研究人員使用“蒙特利爾認知評估量表”測試了多個領先和公開的大語言模型的認知能力。這些大語言模型包括由美國開放人工智慧研究中心(OpenAI)開發的GPT-4和GPT-4o、由美國Anthropic公司開發的“克勞德3.5”以及由美國谷歌公司開發的“雙子座1.0”和“雙子座1.5”。
“蒙特利爾認知評估量表”廣泛用於檢測認知障礙和阿爾茨海默病的早期跡象,通常用於老年人。通過一系列簡短的任務和問題,該測試可以評估注意力、記憶力、語言、視覺空間技能和執行功能等能力。得分最高為30分,通常得分26分及以上被視為認知正常。
測試結果顯示,GPT-4o得分最高——26分,“雙子座1.0”得分最低——16分。所有大語言模型都能很好地完成命名、注意力、語言和抽象等方面的任務,但在視覺空間技能和執行功能測試中都表現不佳。在進一步的視覺空間測試中,大部分大語言模型無法準確解釋複雜的視覺場景。
研究人員表示,在需要視覺抽象和執行功能的任務中,大語言模型幾乎“全軍覆沒”,這表明人工智慧在臨床環境中的使用可能會有困難。因此他們開玩笑説,神經科醫生不僅不太可能很快被大語言模型取代,而且他們可能會發現自己將迎來新的“虛擬患者”——表現出輕度認知障礙的人工智慧模型。