最近，一項由 OpenAI 進行的研究顯示，盡管人工智能技術(shù)飛速發(fā)展，當前最先進的語言模型在回答事實問題時的成功率卻遠低于預期。

研究采用了 OpenAI 自家的 SimpleQA 基準測試，這個測試包含了4，326個，涵蓋了科學、政治和藝術(shù)等多個領(lǐng)域，每個問題都有一個明確的正確答案。

經(jīng)過兩名獨立評審員的驗證，結(jié)果顯示，OpenAI 最好的模型 o1-preview 的準確率僅為42.7%，而 GPT-4o 則略低，只有38.2%。至于更小的 GPT-4o-mini，準確率甚至只有8.6%。相比之下，Anthropic 的 Claude 模型表現(xiàn)得更差，Claude-3.5-sonnet 的正確率僅為28.9%。

這項研究的關(guān)鍵在于測試的設(shè)計，不僅僅是為了測試 AI 的表現(xiàn)，還為了讓大家認識到 AI 模型在知識獲取方面的局限性。研究者強調(diào)，用戶在使用這些模型時，應該將其視為信息處理工具，而不是完全依賴的知識來源。為了獲得更準確的回答，最好能為 AI 提供可靠的數(shù)據(jù)，而不是單純依賴其內(nèi)置的知識。

值得注意的是，AI 模型對自身能力的估計往往過于樂觀。研究人員發(fā)現(xiàn)，當這些模型被要求對自己的回答進行信心評分時，它們通常會給出夸大的準確性評分。在重復回答相同問題的測試中，即使模型多次給出相同答案，它們的實際成功率也仍低于其自我評估的準確性。這與外界對語言模型常常產(chǎn)生荒謬回答卻顯得信心滿滿的批評一致。

研究者認為，當前的 AI 系統(tǒng)在事實準確性上存在明顯的缺口，亟需改進。同時，他們也提出了一個開放性問題:AI 在回答簡短事實問題的表現(xiàn)是否能預測其在處理更長、更復雜回答時的表現(xiàn)。為了支持更可靠的語言模型的開發(fā)，OpenAI 已經(jīng)將 SimpleQA 基準測試的資料公開發(fā)布到 Github 上。

劃重點:

?? OpenAI 的研究顯示，最先進的語言模型在回答事實問題時的成功率低，最高僅為42.7%。

?? 這些 AI 模型常常高估自己的能力，信心評分普遍夸大。

?? OpenAI 已將 SimpleQA 基準公開，以幫助研究更可靠的語言模型。