#部署/工程

Arm 用 Google AI Edge Model Explorer 为自定义边缘编译器带来可视化图调试

Arm 基于 Google AI Edge Model Explorer 开发了 TOSA、VGF、PTE 三种开源适配器，可在模型图上直接检查边缘编译流程。借助分屏视图，Arm 对比了 Ultralytics YOLO 在 CPU 与 Arm Ethos-U85 NPU 上的图结构差异，确认算子委派与回退情况。

Hugging Face 生态通过 TorchTPU 原生支持 TPU

Hugging Face 宣布通过 PyTorch 原生后端 TorchTPU 支持 TPU，Transformers、Diffusers 和 Kernels 可原生运行，模型加载只需 device_map="tpu"，不再需要 torch_xla 或 Optimum TPU。

DeepSeek 开源 DeepInfer 推理框架，支撑 DeepSeek-V4.1-Flash 生产服务

DeepSeek 以 Apache 2.0 许可证开源了支撑其生产服务的 DeepInfer 推理框架，并另以 MIT 许可证发布词元编解码层 deepseek-recipe。

Google 发布 TorchTitan TPU 分叉并给出模型优化 Playbook

Google 推出 TorchTitan TPU 分叉（github.com/google-pytorch/torchtitan），配合 TorchTPU 原生后端在 Cloud TPU 上训练 PyTorch 模型，提供 SimpleFSDP、Graph Trainer、Pallas 内核和优化 Playbook。

Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎

Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎，分别与 Inferact、RadixArk 合作开发，让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。

llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪

IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0，这是一个 Kubernetes 原生的分布式推理服务框架，支持任意模型、任意加速器和任意云。

Lovable 发布十月企业功能汇总：自有云部署、EU 推理与组织治理

Lovable 发布面向企业的十月功能汇总，让大型公司能把 Lovable 应用投入生产并集中治理。

PyTorch 2.15 的 MPS 后端大更新：FP8 上 Mac，MoE 解码提速 5-6.5 倍

Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 的 MPS 后端更新，将 FP8（torch.float8_e4m3fn）带到 Mac，并通过 Metal 内核加速语言模型解码。

DeepSeek 全面开源内部推理框架 DeepInfer

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe。

Tianyi Cui@tianyi· 17:12同事件AI 评分6767

DeepSeek 开源高性能大规模推理框架 DeepInfer，采用 Apache-2.0 许可，仓库地址 https://github.com/deepseek-ai/DeepInfer。支持优化 kernel、模型与 sampler 运行时，Attention DP、平衡 CP、MoE EP + EPLB 等并行方案，以及 DSpark、置信度调度验证、SWA bounded replay、零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。

同一件事，精选收录的是《DeepSeek 全面开源内部推理框架 DeepInfer》

Microsoft 推进数字主权：Sovereign Cloud 新增控制面板与外部密钥管理

Microsoft 在 Ignite 上公布 Sovereign Cloud 下一阶段能力，Sovereign Control Panel 进入公开预览，统一呈现主权态势并识别风险缺口。

Rohan Paul@rohanpaul_ai· 15:08AI 评分4848

Marvell 的 Dave Lazovsky 展示了一个光子模块，可将 HBM + DDR 高带宽内存搬到距 GPU 最远 50 米处，而传统方案通常只有 1.5 mm。该方案让内存首次不必紧贴计算芯片，AI 集群可共享大容量内存而不被加速器封装锁定，延迟维持在数百纳秒级，足以支撑实际内存使用。内存与计算由此可以各自独立扩展。

OpenBMB@OpenBMB· 15:06AI 评分4343

🚀 MiniCPM-V 4.7 现已获 vLLM v0.32.0 支持！感谢 @vllm_project 的支持。这让以高吞吐、低延迟方式部署 MiniCPM-V 4.7 变得更加容易。

面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术，称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码超 20 token/s。

Cloudflare 27B 多模态决策模型 Clef 上架 Ollama

Clef，一个来自 Cloudflare 的 27B 多模态决策模型，现已在 Ollama 上可用，用户可在本地或 Ollama 云端运行。Clef 基于 Qwen3.8-27B 微调，采用 Apache 2.0 许可，支持文本和图像输入，可一次性对每个问题打分而非逐词生成。

prime-rl 0.10.0 发布：训练提速、新 RL 损失 IPO 与统一评测栈

Prime Intellect 发布 prime-rl v0.10.0 与 verifiers v0.4.0，新增 RL 算法 IPO 并设为默认损失。Qwen3-235B-A22B SFT 在 4×8 B300 上比 torchtitan 快 1.15×，MFU 从 40.7% 升至 46.6%。

vLLM 讲解 Elastic EP 如何借助 NIXL EP 实现近零停机扩缩容

vLLM 官方博客讲解如何通过异步准备与 NIXL EP 实现 Elastic Expert Parallelism 的近零停机扩缩容。

MiniMax (official)@MiniMax_AI· 04:47AI 评分5050

来自 @ollama 的 Day0 支持 🦙🤝🐰 M3.1 Flash，美国托管，零数据保留，已为你的智能体准备就绪。开始构建吧！

AWS 发布 TorchNeuron 开发工具，助 PyTorch 应用一行配置迁移至 Trainium 芯片

AWS 周一发布 TorchNeuron 工具，让基于 PyTorch 的 AI 应用只需改一行配置即可在自家 Trainium 芯片上运行，无需重写代码，直接挑战 Nvidia 凭 CUDA 在 PyTorch 生态中的默认地位。

TorchNeuron 开放公测：Hugging Face 库原生支持 AWS Trainium

Hugging Face 宣布 Transformers、Diffusers、Accelerate、PEFT 和 TRL 通过 TorchNeuron 原生支持 AWS Trainium。

AI at Meta@AIatMeta· 02:43AI 评分5151

Meta 介绍其 Muse 基础模型（含 Muse Wonder）在俄亥俄州 New Albany 的吉瓦级超级集群 Prometheus 上的训练情况。该集群拥有数十万 GPU，预训练 goodput 达 85% 以上，强化学习达 90% 以上，Muse Wonder 训练期间平均约 47K GPU 小时才发生一次中断，并附技术介绍链接。

Together AI 发布 Together Post-Training 定制模型训练服务

Together AI 推出 Together Post-Training 服务，支持用户自定义完整训练循环，通过 RL 环境奖励和 SFT 数据训练专属模型。

Google 发布 LiteRT Tensor API，用 C++ 手写端侧模型图并跨 CPU、GPU、NPU 运行

Google 发布 LiteRT Tensor API，一个轻量 C++ 模型编写层，可在 CPU、GPU（ML Drift）、NPU 上运行同一计算图，或经 XNNPACK 无需模型文件直接在 CPU 运行。

Rohan Paul@rohanpaul_ai· 01:43AI 评分4040

“对大多数AI算力提供商来说太低了，无法收回其AI投资” Gartner：许多建设AI数据中心的企业，可能在芯片过时之前都赚不回投入的成本。 转售正成为GPU经济的一部分，@shadeformai Spot让供应商能把闲置算力重新投放市场。 Shadeform的Flex VM可以接收来自任何数据中心的裸金属GPU，并在30分钟内使其可租用。 小型运营商从第一天起，就和其他人拥有同样的入口。

Ubicloud 用 vLLM constrained decoding 将 Kimi 工具调用 schema 准确率从 92% 提升到 100%

Ubicloud 工程师复盘如何修复 vLLM 服务 Kimi K2.6 时的工具调用 schema 准确率问题。

Qoder Fast 模式速度优化详解：首次响应从 8 秒缩短至 3 秒

Qoder 详解 Fast 档位的速度优化技术，首次响应从 8 秒缩短至 3 秒，Credits 消耗从 1.1x 降到 0.8x。优化覆盖客户端、Harness 工具并行、模型调度与网络链路四部分，其中冷启动耗时优化 60% 以上，工具并行率提升 50% 以上，网络大包传输 p95 消耗降低 50% 以上。

PyTorch Helion 借助 NVIDIA CompileIQ 联合搜索 ptxas 编译控制

PyTorch Helion 现可借助 NVIDIA CompileIQ 搜索 ptxas 编译控制空间，并将其与 tile 大小、warp 数等内核配置联合调优，在已离线调优的约 27 个内核上进一步提速。CompileIQ 把调优结果打包为可移植的 Advanced Control File（ACF），Helion 的 autotuner 可将 ACF 列表作为额外搜索维度评估。

Modal 实测 NVIDIA Vera CPU：高负载下沙箱吞吐翻倍

Modal 工程团队分享 NVIDIA Vera CPU（Arm 兼容）在 Modal Sandboxes 的基准测试，作者自建 Agentless Agent Bench（50 个 Terminal-Bench oracle 解法与验证器、剥离网络调用、并发 Docker 容器运行）对比多款 CPU。

n8n 教程：在 NVIDIA DGX Spark 上离线运行全套 AI 工作流

n8n 博客发布教程，讲解如何在一台 NVIDIA DGX Spark（128GB 统一内存）上部署七个本地模型，通过 LiteLLM 单一 OpenAI 兼容端点驱动 n8n 工作流，全程不调用云 API。

Meta 详解 Prometheus 吉瓦级超集群：一期已完成并用于训练 Muse 模型

Meta 介绍其位于俄亥俄州 New Albany 的吉瓦级超集群 Prometheus，一期已建成并用于训练 Muse 系列基础模型，目标扩展到约 100 万张 GPU。

AWS 发布 TorchNeuron：Trainium 的原生 PyTorch 后端开源

AWS 宣布推出 TorchNeuron，一个面向 Trainium 的开源原生 PyTorch 后端，10 月 20 日以 Apache 2.0 协议在 PyTorch Conference North America 开启公测。

NVIDIA 将 Run:ai 平台以 Apache 2.0 协议开源，用于 Kubernetes GPU 编排

NVIDIA 将 Run:ai 平台完整开源，源码以 Apache 2.0 协议发布在 GitHub，平台团队可检视、fork 和自托管而无需付费订阅。

Legora 如何在 Modal Sandboxes 上并行运行 2,000 个智能体评测

Legora 将整个应用按指定 commit 装入独立的 Modal Sandbox，让每次评测都能并行运行 2,000 个智能体任务。其典型实验为 100 个用例、4 种 harness 变体、每种 5 次试验，并借助 Modal Volumes 复用文档与数据库状态。该平台已用于内部基准 BAR，并通过智能体自动爬坡优化 harness，将智能体成本降低 30%。

NVIDIA Structured Data Models 实测：零训练表格预测与多个默认行为陷阱

作者用可运行代码实测 NVIDIA Structured Data Models 库，将 TabICLv2、KumoTabular 和 KumoRelational 等预训练模型通过同一 PyTorch 接口做零训练表格预测。

我国首个全国产十万卡 AI 超集群曙光 8000 真机亮相

据央视新闻报道，我国首个全国产十万卡 AI 超集群曙光 8000 真机在 2026 全国高性能计算学术大会上亮相，并将发布十大重要应用成果。该系统走超算和智算原生融合路线，同一套算力底座既能跑高精度科学计算，也能跑大模型训练和推理；今年 8 月官宣投用时公布的峰值算力相当于全人类持续计算 200 年，目前支持新材料、创新药、人工智能等 26 个领域 300 多种计算任务。

数字生命卡兹克@Khazix0918· 10:11精选AI 评分6868

作者分享受邀参加英伟达 RTX Spark 全球开售活动后，深度使用一周华硕 ProArt 创16（128G 统一内存+1T，京东售价 37999 元）的体验，开售时 128G 版本在京东几分钟内被抢空。

SGLang 推出低延迟模式，通过插件框架引入专用内核

SGLang 团队联合 NVIDIA 和 AMD 推出 SGLang Low-Latency Mode，通过插件框架把专用内核接入 SGLang，在 AgentX trace replay 中将 P90 每用户 token 生成速度在 NVIDIA GB300 上提升最高 1.38×、在 AMD MI355X 上提升最高 1.56×。

SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟

SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核，在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。

卡兹克实测37999元RTX Spark轻薄本：一周实现本地Token自由

数字生命卡兹克分享华硕ProArt创16（RTX Spark N1X芯片、128G统一内存、37999元）的一周深度使用体验，该机全球开售时128G版本在京东几分钟内被抢空。

vLLM 团队详解 Kimi K3 解码优化：GB300 上 842 tokens/s 与快速验证方法

vLLM 团队介绍如何用 Agent 辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径，覆盖 attention、MoE 和 8/16 GPU 通信。