阿里 Qwen 团队发布 Qwen3.8-Flash-Next：125B 多模态 MoE 模型，仅 6B 参数激活，预览 Qwen4 架构

阿里巴巴 Qwen 团队发布了 Qwen3.8-Flash-Next，这是一个面向每 token 成本优化的开放权重多模态混合专家模型。该检查点将 125B 主干网络与 51B 的 N-gram 嵌入表以及 4B 的多 token 预测模块相结合。每个 token 仅激活 6B 参数。团队将其定位为将为 Qwen4 提供支撑的架构的早期预览，这与 Qwen3-Next 对 Qwen3.5 所扮演的角色相同。本次发布包含四项变更：Gated DeltaNet 与 Qwen 稀疏注意力混合架构、门控残差、N-gram 嵌入，以及 Muon 优化器。Qwen 团队报告训练成本约为 Qwen3.7-Plus 的九分之一。

它可以部署吗？

可以，但不能在工作站上部署。FP8 检查点为 172.78 GiB，BF16 检查点为 335.28 GiB。根据 vLLM 的推荐配置，TP2 是 GB300 上经过验证的最低 FP8 配置，建议使用 TP4。在 8×H200 节点上，请使用 TEP8；普通 TP8 与该检查点的 128 宽量化块不兼容。稀疏激活减少的是计算量，而非存储量。

真正的新内容是什么

Qwen3.8-Flash-Next 将 125B 主模型与 51B 的 N-gram 嵌入参数以及 4B 的多 token 预测模块相结合，磁盘上总计 180B。每个 token 仅激活 6B 参数。四项变更驱动了这一成果：

• 混合注意力（GDN + QSA）：每四层中有三层使用 Gated DeltaNet，这是一种线性注意力层，可将历史信息压缩为固定大小的循环状态。第四层运行 Qwen 稀疏注意力（QSA），它使用轻量级索引器以微块粒度而非逐 token 的方式选择上下文。层布局为 48 层中排列为 12 ×（3 × GDN → 1 × QSA），QSA 预算为 512 个块或 2048 个 token。
• 门控残差：残差流扩展为 4 个并行分支，配备逐元素读取门和逐分支标量写入门，瓶颈秩为 320。
• N-gram 嵌入：第 2 层的一个 20,000,000 条目的二元/三元组表通过确定性查找增加容量。它可以卸载到主机内存并支持异步预取——不过目前卸载功能仅在 NVIDIA 设备上运行。
• 训练方案：Muon 优化器与 AdamW 一起应用于特定权重类别，取消了批量大小预热，并重新拟合了缩放定律。

MoE 层包含 512 个专家，激活 10 个路由专家加 1 个共享专家，专家中间维度为 640。

基准测试

通义千问在 DeepSWE 1.1 上取得 58.7 分，在 SWE-bench Pro 上取得 62.5 分，在 SWE-bench Multilingual 上取得 81.0 分，在 LiveCodeBench v6 上取得 91.9 分。在智能体任务上，它在 CoWorkBench 上取得 73.9 分，在 JobBench 上取得 55.7 分，在 Toolathlon Verified 上取得 73.5 分。多模态结果包括 AndroidWorld 84.5 分、LVBench 76.6 分、RealWorldQA 88.5 分，以及带代码解释器的 MathVision 95.7 分。

该模型并非在所有方面都领先。Claude Opus 4.6（Max）在 HLE 上以 40.0 分领先于通义千问的 35.9 分，而 DeepSeek-V4-Flash-0731 在 NL2Repo-Bench 上以 54.2 分对 48.1 分领先。前沿推理能力仍是差距所在。

效率

通义千问表示，训练成本约为 Qwen3.7-Plus 的九分之一。在服务部署方面，公告引用了 QSA 内核在 1M token 下最高 7.6 倍的预填充加速和 4.9 倍的解码加速，而 SGLang cookbook 和 vLLM 配方则引用了 10.2 倍和 6.6 倍的数据。在独立验证之前，请将这些数据视为厂商自报。通义千问还报告称，在 90% 前缀缓存命中率下，其预填充吞吐量是 Qwen3.7-Plus 的 8.6 倍。

原生上下文长度为 262,144 个 token，可通过 YaRN 扩展到 1,000,000 个。

运行方式

该模型可通过 vLLM、SGLang、TokenSpeed、transformers serve 以及用于 GGUF 量化版本的 llama.cpp 提供服务。微调可通过 Unsloth、Swift 和 LLaMA-Factory 实现。它已为 QwenWork 上的“标准”模式提供支持，并可与 Qwen Code 配合使用。

思考模式默认开启，reasoning_effort 可设为 xhigh、medium 或 low。通义千问建议在思考模式下使用 temperature 1.0 和 top_p 0.95，在指令模式下使用 temperature 0.7 和 top_p 0.80。

关键要点

• 125B 主干网络 + 51B N-gram 嵌入向量 + 4B MTP，每个 token 仅激活 6B 参数。
• 四层中有三层使用 Gated DeltaNet；第四层在微块粒度上运行 Qwen 稀疏注意力。
• 训练成本约为 Qwen3.7-Plus 的九分之一，原生上下文为 262K，可通过 YaRN 扩展到 1M。
• FP8 权重大小为 172.78 GiB，因此自托管需要多 GPU 节点，而非单台工作站。
• 采用 qwen-community-1.0 许可证，而非 Apache-2.0——商用前请核实条款。

欢迎查看 GitHub 页面、HF 模型卡和技术细节。也欢迎在 Twitter 上关注我们，别忘了加入我们 15 万+成员的 ML SubReddit，并订阅我们的 Newsletter。等等！你在用 Telegram 吗？现在你也可以在 Telegram 上找到我们了。