跳到正文
Fireworks AI·· 2026-09-14精选AI 评分72

Fireworks 实测 DeepSeek-V4.1-Flash:DeepSWE 达 GPT-6 Astra 水平、单任务成本仅 1/15

DeepSeek-V4.1-Flash on Fireworks: Astra-level DeepSWE at 1/15th the cost

AI 导读

Fireworks 对上周发布的 DeepSeek-V4.1-Flash 进行全套基准评测,在 DeepSWE 上以 74.34% pass@1 达到 GPT-6 Astra 级编码准确率,每任务 $0.43、约为 Astra 的 1/15。

推荐理由

原文给出 DeepSeek-V4.1-Flash 与多款前沿模型的实测成本与准确率数据,可帮助读者按任务匹配合适模型。

正文 · AI 翻译

上周,Fireworks 发布了最新的 DeepSeek-V4.1-Flash。我们跑完了一整套基准测试,结果显示它在质量、速度、成本这几个关键权衡维度上划出了新的帕累托前沿。在 DeepSWE 上,它达到了 GPT-6 Astra 级别的编码准确率,而每个任务的成本只有后者的 1/15。

开发者经常问我们该怎么选模型。现实是,模型只是地图上的一个点,而你的应用是一整套系统。AI 能力是参差不齐的,一个模型在某项任务上表现出色,换一个任务可能就吃力。既然没有哪个模型能在所有场景里都胜出,工作负载设计的核心就是让合适的模型匹配合适的任务——无论你需要的是低延迟处理,还是复杂推理所需的深度计算。

图 1:你的工作负载是一组任务的系统

下面看看 DeepSeek-V4.1-Flash 在不同工作负载下的实际表现,以及它可以放在你技术栈的哪个位置。

我们评估了 DeepSWE 基准,考察各模型如何在准确率与单任务成本之间取得平衡。

模型推理强度Pass@1单任务成本

DeepSeek V4.1-Flash

max

74.34%

$0.430

GPT-6-Astra

xhigh

74.12%

$6.524

Gemini 3.8 Flash

high

73.83%

$2.362

Claude Opus 5

max

73.65%

$11.838

在质量上,这四个模型属于同一档。在 DeepSWE 上,四者的 pass@1 差距都在 0.7 分以内,而我们多次运行的波动范围是 1.4 到 3.2 分,所以这一组里没有哪个模型在质量上明显领先。差异完全体现在成本上:在 Fireworks 上运行的 DeepSeek-V4.1-Flash 以每任务 0.43 美元达到同样的准确率区间,比 Gemini 3.8 Flash 低 5.5 倍,比 GPT-6 Astra 低 15 倍,比 Claude Opus 5 低 28 倍。

新的 DeepSeek-V4.1-Flash 模型从根本上改变了自主软件工程任务的单位经济性。在 GPT-6 Astra、Opus 5 这类昂贵的闭源模型上跑高迭代的智能体工作流、多轮缺陷排查或大规模测试生成,会迅速烧掉工程预算。而按每任务 0.43 美元计算,前沿级 SWE 智能体可以作为持续运行的后台基础设施来用了。有了 DeepSeek V4.1 Flash,现在花一次 Astra 调用的钱,就能跑 15 次自主编码尝试。

DeepSeek-V4.1-Flash 是 DeepSeek 新架构家族中体积最小的模型,带来了一些新的架构增强。

它由 552B 参数的 MoE 构成,采用全新的编码器—解码器分离架构。在这种架构下,模型不再为整个前向传播设定一份激活预算,而是拆分为输入侧 8B 激活参数、输出侧 16B 激活参数。这带来了更高效的设计,也让 token 开销更经济。

这种不对称正好契合编码智能体的工作方式。典型的智能体轨迹是输入极重的:编码智能体常常反复读取文件、重读自己的草稿区、重读工具输出,最后只产出一个相对很小的补丁。在我们的 DeepSWE 运行中,模型每个任务消耗 3690 万输入 token,而输出 token 只有 21.1 万,比例达 174:1。这一架构让开发者能在输入侧少花一半算力,而输入侧通常正是 token 占比更大的部分。

相比上一代 DeepSeek V4,DeepSeek 提升了 DeepSeek-V4.1-Flash 的 KV Cache 利用率,HBM 占用仅为 ¼,SSD 存储仅为 ⅛。

Figure 2: KV Cache on DeepSeek-V4.1-Flash
图 2:DeepSeek-V4.1-Flash 上的 KV Cache

这项新的 KV Cache 优化为你的编码智能体带来了更好的经济性。从 DeepSWE 运行中,我们得到如下成本构成:

成本项每任务 token 数单价每任务成本占比

未缓存输入

148,741

$0.22/M

$0.0327

7.6%

缓存输入

36,744,586

$0.007/M

$0.2572

59.9%

输出

211,513

$0.66/M

$0.1396

32.5%

合计

$0.4295

本次运行中 99.6% 的输入 token 命中缓存,缓存命中费用占账单的 60%。

很多人以为智能体的成本主要花在模型生成的输出上。但在长时间运行的智能体循环里,大部分开销其实来自反复重读同一段上下文。这种由重复任务带来的花费循环,使得 KV 缓存内存减少 4 倍对 token 支出的影响更大。它直接针对智能体设计中最大的成本驱动因素,把 74% 级别的 DeepSWE 分数成本降低了 15 倍。SSD 开销减少 8 倍则与 HBM 优化形成互补,让长轨迹中的缓存命中率保持在接近 99%。

在另一项任务上,我们看到了类似的情况:DeepSeek-V4.1-Flash 正以极低的成本逼近前沿水平。

模型准确率

GPT-6-Astra

87.5%

DeepSeek-V4.1-Flash

86.5%

在 Terminal-Bench 2.1 上,两者质量只差一个百分点,但经济性差异显著。DeepSeek-V4.1-Flash 平均使用的输出 token 约为 Astra 的 4 倍,也就是说它思考更久、写得更多。仅从输出定价来看,成本优化就达到 20 倍。把未命中缓存的输入、缓存命中和输出全部算上,DeepSeek-v4.1-Flash 在质量几乎相同的情况下,每项任务成本低 12 倍。

HLE 与 oracle 路由评测

我们跑了第三项基准任务 Humanity’s Last Exam,简称 HLE。这是一个多模态基准,用来衡量大模型在研究生水平各学科上的能力极限。在这项测试中,我们还用 oracle 路由做了一些基准测试,类似我们此前对 Kimi K3 和 DeepSeek V4 Pro 所做的。简单回顾一下:oracle 路由是一种衡量理论最佳性能的方法,它让任务依次经过每个模型,再挑选成本最优的正确答案,以此确定成本与性能的上限。

配置HLE 分数

DeepSeek-V4.1-Flash

34.52%

GPT-6-Astra

50.40%

Oracle 路由(GPT-6-Astra + DeepSeek-V4.1-Flash 取最优)

54.80%

在 HLE 上,DeepSeek-V4.1-Flash 单独运行时落后于 Astra。这说明 DeepSeek 更适合 DeepSWE 这类智能体编程任务,而不是 HLE 这类推理任务。如果你的工作负载只是高难度的科学推理,它可能不是合适的选择。

oracle 路由是这里更有意思的结果,它体现了路由和多模型系统的重要性。Astra 加 DeepSeek V4.1 的 oracle 路由表现优于单独的 GPT-6 Astra。这 4.4% 的差距,只有在 V4.1-Flash 正确回答了一组 Astra 答错的重要问题时才能实现。34.52% 并不是 50.40% 的子集;两个模型是在不同的问题上失败。需要考虑的一点是,oracle 路由是你的应用所能达到的上限。真实的路由器未必能拿到完整的 4.4 个百分点差距,但 oracle 路由展示了多模型系统超越单独 Astra 模型的可能性。

Fireworks 的 DeepSeek-V4.1-Flash 树立了新的性价比标杆:在编程准确率上可与 GPT-6 Astra 等顶级模型比肩,而每个任务的成本仅为后者的 1/15。它采用 552B 的 MoE 架构,将输入与输出的激活预算分开分配,并升级了 KV 缓存以降低 HBM 占用,从而为你的编程智能体带来更好的经济性。它在复杂的学术推理上有所落后(HLE 得分 34.52%,Astra 为 50.40%),但由于它解决的问题与 Astra 不同,把两者放进路由系统中搭配使用,能以远低于单独使用 Astra 的预算取得更好的效果。

  • 无服务器与专属 API:可直接在 Fireworks 无服务器平台上开始使用 DeepSeek-V4.1-Flash,也可为生产工作负载使用专属容量。
    • 敬请期待:面向受监管行业的美国托管端点即将推出
  • 如果你对即将推出的训练支持感兴趣,欢迎联系我们的团队。

想在自己的工作负载上试一试?我们很乐意听听你的体验,欢迎在 X 上 @FireworksAI_HQ 并告诉我们你在构建什么!

来源:Fireworks AI · fireworks.ai