跳到正文

CritPt v2 难题子集(Artificial Analysis 复跑)

Artificial Analysis / 科研 · 修订版研究级物理题里最难的 40 道,可以写代码演算。

官方评测
在 AICue 中参与排名
所属领域科研
上游数据时间待核实
最近成功同步10/30 02:05

它测什么,怎么测

CritPt v2 的 70 道题里固定的 40 道难题,离线 Python 沙箱,统一 Stirrup 工具流程,五次平均的正确率;由作者的判分服务器判分。

AICue 怎么用它

计分:研究级物理;与 CritPt 共用一类评测。固定 10 个对照型号至少测到 6 个,才参与计算。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
3gpt-6-astraOpenAI70.5%Max 推理
5gpt-6-1-solOpenAI68.5%Max 推理
9gpt-6-1-terraOpenAI64.5%Max 推理
10gemini-4-carbonGoogle63.0%High 推理
12claude-opus-5-5Anthropic61.0%Max 推理 · 含来源回退
21claude-sonnet-5-5Anthropic56.0%Max 推理 · 含来源回退
21gpt-5-6-solOpenAI56.0%Max 推理
25muse-wonder-fullMeta53.0%Max 推理
26gemini-4-argonGoogle52.5%High 推理
28claude-fable-5-1Anthropic51.0%Max 推理 · 含来源回退
30muse-wonderMeta48.0%Max 推理
33muse-spark-1-3Meta46.0%Max 推理
34kimi-k3-1-proMoonshot AI45.0%来源默认配置
37gemini-3-8-flashGoogle43.5%High 推理
39gpt-6-lunaOpenAI41.5%Max 推理
40claude-haiku-5-5Anthropic41.0%Max 推理
42kimi-k3Moonshot AI39.5%Max 推理
43ling-3-1-flash-1019InclusionAI37.5%来源默认配置
46mimo-v2-6-proXiaomi34.0%来源默认配置
47glm-5-3Z.ai33.5%Max 推理
49step-5StepFun32.5%来源默认配置
51grok-4-7xAI32.0%xHigh 推理
53minimax-m3-1-flashMiniMax31.0%来源默认配置
56mimo-v2-6-flashXiaomi29.5%来源默认配置
57qwen3-8-maxAlibaba28.5%来源默认配置
59muse-spark-openMeta27.5%xHigh 推理
60reflection-beamReflection26.5%来源默认配置
60minimax-m3MiniMax26.5%来源默认配置
62mistral-large-4Mistral AI26.0%High 推理
64glm-5-3-flashZ.ai24.0%来源默认配置
评测局限与数据署名

40 道难题按 v2 发布时 7 个前沿模型的表现固定挑出,题量少;不混入 70 题全集的成绩。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:Artificial Analysis 公开页面数据;展示须显著署名并链接来源,遵守其 Terms of Use

成绩由 Artificial Analysis 发布。各项评测的原始分数尺度不同,不能直接相加;AICue 按公开规则把它们折算成同一种分数。