τ³-Banking（Mercor 复跑）

Mercor / 专业办公 · 在统一工具环境里办理银行客服业务：查政策、找产品、改账户。

在 AICue 中参与排名

所属领域专业办公

上游数据时间待核实

最近成功同步10/30 02:05

它测什么，怎么测

取 Mercor 给所有模型统一复跑的 pass@1。同一型号按最高推理档位选代表配置，选择不看分数。

计分：专业办公领域的客服一类。

同一模型测了多个档位时，按固定规则只取一套代表成绩；没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示，名次照搬原榜，每项最多列 30 个。

原榜名次	原榜型号	原始成绩	代表配置
1	gemini-4-argonGoogle	58.1%	High 推理
2	claude-opus-5-5Anthropic	55.0%	Max 推理
3	claude-fable-5.1Anthropic	54.0%	Max 推理
3	claude-sonnet-5-5Anthropic	54.0%	Max 推理
5	muse-spark-1-3Meta	52.2%	xHigh 推理
6	muse-wonder-1-0-maxMeta	51.9%	Max 推理
7	gemini-3.8-flashGoogle	48.8%	High 推理
8	qwen-3-8-max-xhighAlibaba	46.7%	xHigh 推理
8	gpt-6-astra-maxOpenAI	46.7%	Max 推理
10	grok-4-6-xhighxAI	45.7%	xHigh 推理
11	claude-opus-5Anthropic	44.0%	Max 推理
12	claude-haiku-5-5Anthropic	43.0%	Max 推理
12	gpt-6-1-solOpenAI	43.0%	Max 推理
12	gpt-5-6-sol-max-proOpenAI	43.0%	Max 推理未计入：Pro 系统多次采样后汇总作答，不是 GPT-5.6 Sol 本身。
12	gpt-6-solOpenAI	43.0%	Max 推理
16	deepseek-v4-1-flash-1017DeepSeek	41.6%	Max 推理
17	inception/mercury-3Inception	40.5%	High 推理
17	glm-5-3Z.ai	40.5%	Max 推理
19	deepseek-v4-pro-08-13DeepSeek	40.2%	Max 推理
19	gpt-6-lunaOpenAI	40.2%	Max 推理
21	gpt-5.6-terra-maxOpenAI	38.8%	Max 推理
22	glm-5-3-flashZ.ai	37.8%	Max 推理
22	deepseek-v4-1-flashDeepSeek	37.8%	Max 推理
24	gpt-6-1-terraOpenAI	37.1%	Max 推理
25	minimax-m3p1-flashMiniMax	36.1%	Max 推理
26	gpt-5.6-luna-maxOpenAI	35.7%	Max 推理
27	kimi-k3Moonshot AI	34.7%	Max 推理
28	beam-1-0-maxReflection	33.0%	Max 推理
29	grok-4.7xAI	32.6%	xHigh 推理
30	minimax-m3MiniMax	21.0%	High 推理

评测局限与数据署名

依赖模拟用户与工具协议，只代表银行客服场景；Sierra 官方榜单接受厂商自报成绩，不计分。

数据许可：官方公开结果；题目与评测框架来自 Sierra tau2-bench（MIT）

成绩由 Mercor 发布。各项评测的原始分数尺度不同，不能直接相加；AICue 按公开规则把它们折算成同一种分数。