评测来源官方评测
Harvey 法律 Agent 基准 1.1（Vals 复跑）
Vals AI / Harvey / 专业办公 · 处理法律资料并交付 Word、Excel、幻灯片等可审阅文件。
在 AICue 中参与排名
所属领域专业办公
上游数据时间10/29 08:00
最近成功同步10/30 02:05
它测什么，怎么测
Harvey 不公开的测试集，用 Harvey 的文件工具、docx、xlsx、pptx 技能和评分方式，在 Vals 自己的框架里断网运行；取两名裁判（GPT 5.5、Claude Sonnet 4.6）的整任务通过率。同一型号按最高推理档位选代表配置，选择不看分数。
AICue 怎么用它
计分：专业办公领域的法律一类，与 Artificial Analysis 复跑的 Harvey LAB 1.1 合起来算一票。固定 10 个对照型号至少测到 6 个，才参与计算。
评测成绩
同一模型测了多个档位时，按固定规则只取一套代表成绩；没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示，名次照搬原榜，每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | google/gemini-4-argonGoogle | 27.1% | High 推理 |
| 2 | meta/muse-spark-openMeta | 25.0% | xHigh 推理 |
| 3 | meta/muse-wonderMeta | 23.8% | Max 推理 |
| 4 | meta/muse-wonder-fullMeta | 23.3% | Max 推理 |
| 5 | grok/grok-4.7xAI | 18.3% | xHigh 推理 |
| 6 | mistralai/mistral-large-4Mistral AI | 17.5% | High 推理 |
| 6 | google/gemini-4-carbonGoogle | 17.5% | High 推理 |
| 8 | mistralai/mistral-large-4-ossMistral AI | 15.8% | High 推理 |
| 9 | alibaba/qwen3.8-max-internalAlibaba | 15.4% | 来源默认配置 |
| 10 | zai/glm-5.3Z.ai | 14.6% | Max 推理 |
| 11 | deepseek/deepseek-v4.1-flash-1017DeepSeek | 14.2% | Max 推理 |
| 12 | xiaomi/mimo-v2.6-proXiaomi | 13.8% | 来源默认配置 |
| 13 | xiaomi/mimo-v2.6-flashXiaomi | 13.3% | 来源默认配置 |
| 14 | kimi/kimi-k3Moonshot AI | 12.9% | Max 推理 |
| 15 | google/gemini-3.8-flashGoogle | 12.1% | High 推理 |
| 16 | kimi/kimi-k3.1-proMoonshot AI | 11.7% | Max 推理 |
| 17 | deepseek/deepseek-v4-pro-0813DeepSeek | 10.8% | Max 推理 |
| 18 | zai/glm-5.3-flashZ.ai | 10.4% | Max 推理 |
| 18 | anthropic/claude-sonnet-5-5Anthropic | 10.4% | Max 推理 |
| 20 | anthropic/claude-opus-5-5Anthropic | 9.2% | Max 推理 |
| 21 | tencent/hy4-previewTencent | 8.8% | 来源默认配置 |
| 22 | minimax/MiniMax-M3.1-flashMiniMax | 7.5% | Max 推理 |
| 23 | openai/gpt-6-astraOpenAI | 7.1% | Max 推理 |
| 24 | openai/gpt-6.1-solOpenAI | 6.3% | Max 推理 |
| 25 | inception/mercury-3Inception | 5.0% | High 推理 |
| 26 | reflection/Beam-1.0Reflection | 4.6% | 来源默认配置 |
| 27 | anthropic/claude-haiku-5-5Anthropic | 4.2% | Max 推理 |
| 27 | openai/gpt-6-lunaOpenAI | 4.2% | Max 推理 |
| 29 | thinkingmachines/inklingThinking Machines Lab | 3.8% | 来源默认配置 |
| 30 | thinkingmachines/inkling-smallThinking Machines Lab | 2.9% | 来源默认配置 |
评测局限与数据署名
1.1 换了题集和评分方式，与 Vals 已归档的 v1 不可直接比较，v1 的成绩不再计入。整项任务通过率普遍很低；Vals 公布每次运行有多少题被厂商接口转给了同厂商的旧型号：有回退的成绩照常计入并在模型页标注，受影响题目过半的不计。同属 Vals 的几项评测不能当作多家独立机构。
数据许可：官方公开结果；公开再展示保留官方署名，完整再分发授权仍以 Vals 条款为准
成绩由 Vals AI / Harvey 发布。各项评测的原始分数尺度不同，不能直接相加；AICue 按公开规则把它们折算成同一种分数。