引用vLLM@vllm_project
🎉 恭喜 @MiniMax_AI 发布 MiniMax M3!前沿的编程与智能体能力、原生图像和视频输入、计算机使用,以及 100 万 token 上下文窗口,全部集成在一个开放模型中。
M3 的核心是 MSA,一种全新的稀疏注意力架构:它不再对完整的 KV 缓存进行密集注意力计算,而是让每个查询对 128 token 的 KV 块打分,并仅对得分最高的块运行注意力。这正是让 100 万 token 上下文变得可实际服务的关键。
M3 在 vLLM 中实现首日支持,并已在 NVIDIA 和 AMD 硬件上验证:
✨ 带专用 prefill 和 decode 内核的 MSA 稀疏注意力
✨ 支持前缀缓存和分块 prefill 的 100 万 token 上下文服务
✨ BF16 和 MXFP8 检查点,同时为 Hopper 和 Blackwell 提供 MoE 后端
✨ 原生多模态输入(图像 + 视频)
✨ 面向智能体工作负载的工具调用、推理解析和思考模式控制
这样的首日支持是真正的团队协作成果。感谢 @MiniMax_AI、@NVIDIAAI、@AIatAMD 和 @inferact 的团队,以及 vLLM 社区让这一切成为可能。🙏
深入了解实现细节、内核工作和部署方案:
🔗 https://vllm.ai/blog/2026-06-12-minimax-m3-vllm