SuperGPQA殺到！大模型迎戰285學科“最強考官”

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。wisemodel推出邀請注冊獎勵活動，最高可得算力券+token包380元獎勵，歡迎參與和支持！

過去兩年里，大模型的能力呈現出一種讓人麻木的“爆炸式進展”：幾乎每個傳統測評集都在被迅速刷穿。榜單不斷刷新，人們開始習慣于“某某模型又在某個測試中拿了90分”的新聞，也逐漸默認：大模型已經越來越接近“通才型智能”。

但一個問題始終被回避：當這些模型離開刷榜訓練集，真正進入復雜、分散、專業化的人類知識體系，它們還能站得住嗎？

SuperGPQA 正是帶著這個問題出現的。這是目前規模最大、覆蓋最廣、專業性最強的模型評測基準之一：涵蓋 13 個學科門類、72 個一級領域、285 個研究生級細分學科，總計 26,529 道高難度選擇題。從量子物理、半導體材料到臨床醫學、農學工程，從哲學到語言學理論，它試圖第一次把“整張研究生課程表”擺到模型面前，看看這些以“博聞強記”著稱的大模型，能否真正面對專業體系。已上線始智AI-wisemodel開源社區，歡迎大家前去體驗。

數據集地址

https://wisemodel.cn/datasets/yyf1/SuperGPQA

01.

SuperGPQA是怎么“煉”出來的

SuperGPQA采用人機結合的三階段質控流程，確保每一道題在可解性、專業性和區分度上均達到高標準：

• 80+專家親自下場選題

SuperGPQA的構建由80+ 專家負責搜集題源，覆蓋 285 個研究生級細分學科。專家從教材、專業試題、學科資料中篩選并提供帶截圖的原始題目，確保后續加工所需的完整背景信息。這一階段的核心任務是：確定可信來源、收集高難度原題、整理題目上下文，為后續轉寫與質檢打下基礎。

• 眾包+專家+頂尖模型三重處理

在轉寫階段，由來自頂尖高校的眾包成員在頂尖模型輔助下對專家上傳的題目進行結構化加工：包括翻譯、改寫為多選題、生成干擾項、補全選項信息與標準化題面格式等步驟。最終由專家對改寫的內容進行人工復核與修訂，確保加工后的題目準確、完備且符合學科要求。

• 規則過濾→模型篩查→專家終審

（1）規則過濾：自動檢查題目格式、結構、邏輯與領域一致性，剔除所有不符合規范的內容。

（2）模型篩查：多款 SOTA 模型對候選題進行有效性、相關性與可解性評估，并生成難度與區分度標簽，標記需重點復核的題目。

（3）專家終審：專家對模型標記的題目逐條復核，包括答案確認、題干與選項修訂及必要的重寫，最終形成可納入 SuperGPQA 的高質量題目。

02.

SuperGPQA: 專治各種“不服”

該基準在六大核心維度實現對傳統基準的碾壓。

1、區分度最高：SOTA 與中等模型差距遠大于 MMLU / GPQA

2、提升空間最大：最強模型也只有 63.56%

3、與人類評價最吻合：與 Arena 相關性高達 87.6%

4、樣本量最豐富：26,529 題

5、學科最全面：13 門類 × 72 一級學科 × 285 二級學科

6、選項最復雜：平均 9.67 個選項，多選題比例更高

即便是當前表現突出的模型——包括 Gemini-2.5-Pro、DeepSeek-R1 在內——在 SuperGPQA 上的最高準確率也僅達到63.56%。這意味著距離真正意義上的“通用學術能力”仍有相當大的提升空間。

03.

幾個特別有意思的發現

通過 SuperGPQA 這個評測，研究團隊發現了 4 個重要情況，分別和模型的推理能力、微調效果、文科表現、提示詞使用有關，這些情況能說明大模型的差異和發展方向。

1、推理模型才是真大佬：專用推理模型大幅領先普通聊天模型

在SuperGPQA評測中，專用推理模型（如DeepSeek-R1、o1-2024-12-17）的表現顯著優于通用非推理模型（Doubao-1.5-pro）。這說明復雜推理能力在專業學科評測中是關鍵區分因素，也是當前大模型邁向更高智能的重要瓶頸。

2、微調效果巨大：例如 DeepSeek-V3 比基礎版提升 15+ 個百分點

DeepSeek-V3 和 Qwen2.5-72B-Instruct 的結果（47.40, 40.75）分別顯著優于 DeepSeek-V3-Base 和 Qwen2.5-72B 的結果（32.14, 34.33）。這表明指令對齊與任務適應能顯著釋放模型潛力，尤其是在多學科、復雜語境下的表現。

3、文科領域成模型能力分水嶺：歷史、法律等人文領域更能拉開模型差距

高區分度學科如歷史、法律表現出強烈的性能分化，低區分度學科（如工程類）則呈現性能趨同。這說明大模型在處理結構化、確定性知識時表現趨同且優異，但在處理非結構化、模糊性、依賴于語境和價值觀的知識時，能力差異巨大。

4、提示詞效果分化：大模型提升，小模型反降

大模型（如 Qwen2.5-72B-Instruct） 在提供子領域信息后準確率從 40.82% 提升至 41.93%。

小模型（如 Qwen2.5-0.5B-Instruct） 則幾乎無提升，甚至略有下降。這說明大模型更能利用細粒度上下文信息進行推理，而小模型可能因容量有限，難以有效利用額外提示信息。

----- END -----

wisemodel相關：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看