llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0，这是一个 Kubernetes 原生的分布式推理服务框架，支持任意模型、任意加速器和任意云。
推荐理由：原文给出 llm-d 1.0 的具体能力变化和实测成本数据，读者可据此评估自建推理基础设施是否划算。
技术方向
开源生态 最新动态
开放权重、能下载下来自己部署的模型，开源框架与 GitHub 上爆火的 AI 项目。
715 条精选近 30 天 57 条共收录 3,442 条
更新
精选归档 · 第 2 页
IBM Research：AI精选AI 评分6060 公众号：DeepSeek精选AI 评分7575 DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe。
推荐理由：DeepSeek 将内部推理框架全面开源，给出仓库地址和兼容平台，开发者可据此优化大规模推理的成本。
公众号：面壁智能精选AI 评分6868 面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术，称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由：原文拆解了 LES 在调度、存储、计算三层的具体设计，并给出消融数据，方法可迁移到其他 MoE 模型的端侧部署。
PyTorch：Blog精选AI 评分6767 AWS 发布 TorchNeuron：Trainium 的原生 PyTorch 后端开源
AWS 宣布推出 TorchNeuron，一个面向 Trainium 的开源原生 PyTorch 后端，10 月 20 日以 Apache 2.0 协议在 PyTorch Conference North America 开启公测。
推荐理由：原文给出 TorchNeuron 的架构、执行模式和兼容性测试数据，开发者可据此评估把现有 PyTorch 工作流迁到 Trainium 的成本。
Arena.ai@arena精选AI 评分8080Arena 公布 Meta 发布的 Muse Spark Open (Max) 在 Code Arena: WebDev 以 1511 分位居美国开源模型第一、开源模型总榜第 13。
引用AI at Meta@AIatMeta今天我们发布 Muse Spark Open，这是迄今为止能力最强的美国开放权重模型。 专为编程和智能体工作打造，它擅长长周期任务、复杂软件工程和多步推理。 关键模型规格： → 816B 总参数 / 42B 激活参数 → 1M token 上下文窗口 → 原生支持文本、图像、视频、音频多模态
推荐理由：基于 Arena 自家 Code Arena 榜单给出 Muse Spark Open 的具体得分、排名与定价对比，读者可据此定位该开源模型的真实水准。
Artificial Analysis 完整文章精选AI 评分6161 Reflection 发布首个开源权重模型 Beam，Artificial Analysis 评测得分 30 居美国开源模型第二
Artificial Analysis 评测 Reflection 首个模型 Beam，其在 Artificial Analysis Intelligence Index 得 30 分，在美国开源权重模型中排第二，仅次于 Meta 的 Muse Spark Open（39）。
推荐理由：第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据，可用于横向比较其智能体与编码能力。
PyTorch：Blog精选AI 评分8383 Meta 发布开源权重模型 Muse Spark Open，816B 参数、1M 上下文
Meta 发布开源权重模型 Muse Spark Open，已在 Hugging Face 以 Muse Model License 提供。模型总参数 816B、激活 42B，上下文窗口 1M token，面向编码与智能体工作流，原生多模态（图像、音频、文档），并相比 8 月发布的 Muse Spark 增加了安全后训练。
推荐理由：Meta 开放了 Muse Spark 的权重，并给出 Helion 内核与 TorchTitan 微调支持，读者可据此评估其部署与定制路径。
Aravind Srinivas@AravSrinivas精选AI 评分6767推荐理由：作者解释了为什么沙箱本身是 commodity 而生产级规模化才是难点，开源平台可用于自建企业级 Agent 基础设施。
Google Developers Blog精选AI 评分6161 Google 介绍 google/adk-recipes 仓库的三层结构与 Agent Platform 集成
Google Developers Blog 介绍 google/adk-recipes 仓库，它是 google/adk-samples 的重构后继版本，以 core/、plugins/、contrib/ 三层作为 Agent Platform 各入口的单一内容来源。
推荐理由：官方详解 google/adk-recipes 三层结构，读者可以据此了解同一仓库如何同时服务 Agents CLI、Agent Garden 和 Gemini Enterprise。
NVIDIA Blog精选AI 评分7171 NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型
NVIDIA 发布开源 120B 参数多模态模型 Nemotron 3.5 Super VL，面向高频智能体任务，官方称其准确率可比自家最大推理模型、参数量约为五分之一，吞吐比同类次优模型快至 5 倍；同时推出边缘模型 Bolt 74B-A9B 24GB（原生 2-bit 量化，可本地运行于 RTX/DGX Spark）和 Bolt E4B 4GB（10 月 23 日上线）。
推荐理由：原文给出三款开放模型各自针对的部署层级和量化、训练数据规模，读者可据此判断哪一档适合自家智能体场景。
StepFun@StepFun_ai精选AI 评分6767引用Featherless AI@FeatherlessAIStep 5 Preview 来了。 @StepFun_ai 的新开放权重模型树立了新的帕累托前沿，在 @ArtificialAnlys 智能指数上与 Kimi K3 持平！ 它为长时程智能体工作而打造，在软件工程和专业知识工作（尤其是金融）方面取得了前沿级成果。 - 600B 稀疏 MoE，每 token 激活 27B - 据 Artificial Analysis，每任务成本约为 Claude Opus 5.5 的 1/6 现已在 Featherless 上线，以 FP8 提供服务。 https://featherless.ai/model-pages/step-5-preview
推荐理由：引用内容给出 Step 5 Preview 的参数规模、成本对比和部署入口，读者可据此评估其性价比与获取方式。
Black Forest Labs：Blog精选AI 评分7777 Black Forest Labs 发布开源文生图模型 FLUX 3 Image Klein（5.6B）
Black Forest Labs 发布 5.6B 参数开源权重模型 FLUX 3 Image Klein，支持文生图、图像编辑和最多 10 张参考图的多参考生成，采用 FLUX Kommunity License。
推荐理由：官方公布了参数规模、显存门槛、生成速度和评测对比，读者可以评估它在本地部署与微调场景中的适配性。
- StepFun@StepFun_ai精选AI 评分7777
阶跃星辰（StepFun）宣布 Step 5 Preview 开放权重，BF16 和 FP8 权重已上线 Hugging Face 和 ModelScope，并附技术博客。
推荐理由：官方公告直接给出权重规格和下载入口，需要开源 MoE 权重的读者可据此评估是否纳入自己的工作流。
公众号：面壁智能精选AI 评分6767 面壁智能等联合开源 PilotDeck 2.0，主打办公全流程交付与长任务稳定运行
10 月 15 日，清华大学 THUNLP、面壁智能、OpenBMB 与 AI9Stars 联合开发的 AI Agent 工作台 PilotDeck 2.0 正式开源。
推荐理由：官方开源的 Agent 工作台，给出办公 Skills、长任务续跑与智能路由的实测数据，轻量模型框架选型可参考。
公众号：蚂蚁百灵精选AI 评分6969 蚂蚁百灵开源 Ling-3.1-flash：560B 总参模型量化后可 4 卡部署
蚂蚁百灵正式开源 Ling-3.1-flash，总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文，权重可在 Hugging Face 和 ModelScope 获取。
推荐理由：官方开源 560B 级模型并给出量化后 4 卡部署、价格与公开评测数据，可供自部署团队评估能力与算力成本。
公众号：昆仑万维精选AI 评分7070 昆仑万维发布并开源单张 RTX 5090 实时运行的视频大模型游戏 Matrix-Game 4.0
昆仑万维于2026年10月15日发布 Matrix-Game 4.0，称其为第一款运行在单张消费级显卡上的视频大模型游戏，并同步开源。
推荐理由：原文给出具体硬指标与三模块架构，还对比了同类方案的延迟和算力门槛，读者可据此评估这条实时世界模型路线的落地价值。
蚂蚁百灵：Developer Blog精选AI 评分6565 蚂蚁百灵开源 Ling-3.1-flash：总参数约 560B、每 Token 激活约 25B，支持 1M 上下文
蚂蚁百灵正式开源 Ling-3.1-flash，权重可在 Hugging Face 和 ModelScope 获取。模型总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文；经 MXFP4 与 block-FP8 量化后权重占用从约 534GB 降至 292GB，Hopper GPU 测试中服务部署由 8 卡降至 4 卡。
推荐理由：官方开源公告给出权重入口、Artificial Analysis 与 Design Arena 评测数据和 4 卡部署实测，便于评估自部署可行性。
Prime Intellect精选AI 评分6262 Prime Intellect 收购 Moondream，联合创始人加入主导推理与多模态
Prime Intellect 宣布收购 Moondream，创始人 Vik Korrapati 和 Jay Allen 加入并负责推理业务及视觉、computer use 等多模态模型工作。
推荐理由：收购方官方公告给出交易目的与产品整合方向，并附 Moondream 3.1 的推理速度和成本对比数字，可作了解两家技术互补的参考。
公众号：面壁智能精选AI 评分6868 面壁智能开源 MiniCPM-V 4.7，35B-A3B MoE 模型 3GB 内存端侧流畅运行
面壁智能联合 OpenBMB 社区于10月13日发布并开源 MiniCPM-V 4.7，包含 35B-A3B 和 1B 两个版本，称其为全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型。
推荐理由：原文详解了 LES 专家调度、权重布局优化和视觉 token 压缩等技术细节，读者可以了解 MoE 模型在 3GB 内存端侧设备上的实现路径。
Amazon Science精选AI 评分6161 AWS 提出 priming 方法，可将预训练 Transformer 改造成混合状态空间架构
AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出 priming 方法，复用预训练 Transformer 权重构建混合架构，将预训练成本降低逾 99%，全流程消耗不足源模型 0.5% 的 token 预算。
推荐理由：AWS 团队提出 priming 方法，把预训练 Transformer 改造成混合架构的预训练成本降低逾 99%，并开源了 8B 和 32B 模型与代码。