Terminal-Bench Science · Vals

Vals AI / 科研 · 在终端完成科学工作流与分析。

在 AICue 中参与排名

所属领域科研

上游数据时间10/25 08:00

最近成功同步10/30 02:05

它测什么，怎么测

70 个专家审核的科学终端任务，统一 Mini-SWE-agent，由任务验证器检查结果。

计分：科学工作流；与 AA 复跑的同一题库共用一类评测。固定 10 个对照型号至少测到 6 个，才参与计算。

同一模型测了多个档位时，按固定规则只取一套代表成绩；没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示，名次照搬原榜，每项最多列 30 个。

原榜名次	原榜型号	原始成绩	代表配置
1	openai/gpt-6-astraOpenAI	62.9%	Max 推理
2	openai/gpt-6.1-solOpenAI	52.9%	Max 推理
3	anthropic/claude-sonnet-5-5Anthropic	47.1%	Max 推理
3	anthropic/claude-opus-5-5Anthropic	47.1%	Max 推理
5	google/gemini-4-argonGoogle	44.3%	High 推理
6	anthropic/claude-fable-5-1Anthropic	40.0%	Max 推理
7	meta/muse-wonder-fullMeta	37.1%	Max 推理
8	kimi/kimi-k3.1-proMoonshot AI	31.4%	Max 推理
9	openai/gpt-6-solOpenAI	30.0%	Max 推理
10	anthropic/claude-opus-5Anthropic	27.1%	Max 推理
11	meta/muse-wonderMeta	22.9%	Max 推理
12	openai/gpt-5.6-solOpenAI	20.0%	Max 推理
13	anthropic/claude-fable-5Anthropic	15.7%	Max 推理
14	alibaba/qwen3.8-maxAlibaba	12.9%	来源默认配置
15	grok/grok-4.6xAI	11.4%	High 推理
16	openai/gpt-5.6-terraOpenAI	10.0%	Max 推理
16	grok/grok-4.7xAI	10.0%	xHigh 推理
16	meta/muse_spark_1_3_maxMeta	10.0%	Max 推理
16	anthropic/claude-haiku-5-5Anthropic	10.0%	Max 推理
20	google/gemini-3.8-flashGoogle	8.6%	High 推理
21	google/gemini-3.7-flashGoogle	7.1%	High 推理
22	anthropic/claude-sonnet-5Anthropic	5.7%	Max 推理
22	zai/glm-5.3Z.ai	5.7%	Max 推理
22	fireworks/ember-1Fireworks AI	5.7%	来源默认配置
22	google/gemini-3.5-flashGoogle	5.7%	High 推理
26	google/gemini-3.6-flashGoogle	4.3%	High 推理
26	anthropic/claude-opus-4-8Anthropic	4.3%	Max 推理
26	deepseek/deepseek-v4-flash-0731DeepSeek	4.3%	High 推理
26	xiaomi/mimo-v2.6-flashXiaomi	4.3%	来源默认配置
26	deepseek/deepseek-v4-pro-0813DeepSeek	4.3%	Max 推理

评测局限与数据署名

只取版本 0.1 的 Mini-SWE-agent 成绩；Terminus 2 不混入。缺测留空；回退成绩计入并标注，受影响题目过半不计。

数据许可：官方公开结果；公开再展示保留官方署名，完整再分发授权仍以 Vals 条款为准

成绩由 Vals AI 发布。各项评测的原始分数尺度不同，不能直接相加；AICue 按公开规则把它们折算成同一种分数。