SimpleQA是OpenAI推出的基準(zhǔn)測(cè)試，用在評(píng)估大型語(yǔ)言模型回答簡(jiǎn)短、尋求事實(shí)問題的能力。SimpleQA包含4326個(gè)問題，每個(gè)問題設(shè)計(jì)為只有一個(gè)正確答案，易于評(píng)分。SimpleQA挑戰(zhàn)性強(qiáng)，即使是最先進(jìn)的大模型如o1-preview和Claude Sonnet 3.5的準(zhǔn)確率也不到50%。所有問題經(jīng)過兩位獨(dú)立標(biāo)注員驗(yàn)證，確保參考答案的準(zhǔn)確性和時(shí)效性。SimpleQA能評(píng)估模型的事實(shí)性回答能力，能測(cè)量模型的“校準(zhǔn)”程度，即模型對(duì)自己回答準(zhǔn)確性的自我評(píng)估能力。SimpleQA的數(shù)據(jù)集具有多樣性，涵蓋多個(gè)主題，包括歷史、科學(xué)、藝術(shù)等，用在推動(dòng)更可靠、可信賴的語(yǔ)言模型的發(fā)展。
SimpleQA的主要功能評(píng)估事實(shí)性回答能力： SimpleQA主要用在測(cè)試語(yǔ)言模型回答簡(jiǎn)短、事實(shí)性問題的能力，問題設(shè)計(jì)為只有一個(gè)正確答案。挑戰(zhàn)性問題設(shè)計(jì)： 問題對(duì)抗性地收集，針對(duì)GPT-4等前沿模型，確保測(cè)試具有挑戰(zhàn)性。易于評(píng)分： 問題設(shè)計(jì)讓答案易于評(píng)定，答案被分類為正確、錯(cuò)誤或未嘗試。模型自我認(rèn)知評(píng)估： 基于評(píng)估模型是否“知道自己知道什么”，衡量模型的自我認(rèn)知能力。校準(zhǔn)測(cè)量： 測(cè)量模型對(duì)回答準(zhǔn)確性的自信程度，即模型是否能準(zhǔn)確評(píng)估自己的回答。SimpleQA的技術(shù)原理數(shù)據(jù)收集與驗(yàn)證： 基于AI訓(xùn)練師創(chuàng)建問題和答案對(duì)，由另一名AI訓(xùn)練師獨(dú)立驗(yàn)證答案，確保一致性。高標(biāo)準(zhǔn)問題篩選： 問題必須滿足特定標(biāo)準(zhǔn)，包括單一答案、答案隨時(shí)間不變、有證據(jù)支持、具有挑戰(zhàn)性，且截至2023年可回答。質(zhì)量控制： 用ChatGPT分類器檢測(cè)違反標(biāo)準(zhǔn)的問題是提高問題質(zhì)量的步驟之一。多樣性和覆蓋： 基于ChatGPT分類問題主題和答案類型，確保數(shù)據(jù)集的多樣性。評(píng)分機(jī)制： 用提示的ChatGPT分類器對(duì)模型的回答進(jìn)行評(píng)分，確定其是否正確、錯(cuò)誤或未嘗試。性能評(píng)估：?比較模型在SimpleQA上的表現(xiàn)，評(píng)估其在事實(shí)性問題回答方面的能力。校準(zhǔn)評(píng)估： 詢問模型對(duì)答案的置信度，且與實(shí)際準(zhǔn)確性進(jìn)行比較，評(píng)估模型的校準(zhǔn)能力。SimpleQA的項(xiàng)目地址項(xiàng)目官網(wǎng)：openai.com/index/introducing-simpleqaGitHub倉(cāng)庫(kù)：https://github.com/openai/simple-evals/技術(shù)論文：https://cdn.openai.com/papers/simpleqa.pdfSimpleQA的應(yīng)用場(chǎng)景模型開發(fā)與測(cè)試： 開發(fā)者用SimpleQA測(cè)試和比較不同語(yǔ)言模型的性能，特別是在處理事實(shí)性問題時(shí)的準(zhǔn)確性和可靠性。研究與學(xué)術(shù)： 研究人員探索和發(fā)表關(guān)于語(yǔ)言模型在事實(shí)性回答方面的能力，推動(dòng)自然語(yǔ)言處理領(lǐng)域的學(xué)術(shù)研究。教育工具： 在教育領(lǐng)域，作為評(píng)估教學(xué)輔助工具性能的手段，幫助教師了解和選擇最適合學(xué)生學(xué)習(xí)需求的語(yǔ)言模型。信息檢索系統(tǒng)： 在構(gòu)建或優(yōu)化搜索引擎和信息檢索系統(tǒng)時(shí)，評(píng)估和提升系統(tǒng)對(duì)用戶查詢的響應(yīng)質(zhì)量和準(zhǔn)確性。問答系統(tǒng)： 對(duì)于問答系統(tǒng)（QA系統(tǒng)）的開發(fā)，SimpleQA提供標(biāo)準(zhǔn)化的測(cè)試集，幫助開發(fā)者評(píng)估和改進(jìn)系統(tǒng)的回答質(zhì)量。 
