vLLM Day-0 支持 Recursive 40B MoE 模型 Flint，单卡推理约 500 tokens/s
vLLM 宣布 Day-0 支持 Recursive 的 Flint，其 NVFP4 和 BF16 checkpoint 均可在单张 GPU 上运行，在一张 GB200、100K token 上下文下单请求解码约 500 tokens/s。
#部署/工程
vLLM 官方博客AI 评分5757 Cohere 产品与研究博客AI 评分5353 Cohere Model Vault 推出机密计算公开测试版
Cohere 宣布 Cohere Model Vault 的机密计算（Confidential Computing）功能进入公开测试版，为托管企业 AI 提供硬件级保护和可独立验证的安全性。
LMSYS BlogAI 评分4949 用 Miles 在 MI355X 上训练 SWE 智能体：驯服长尾轨迹与复杂沙箱协同
研究团队用 Miles、SGLang、Megatron-LM 和 Harbor 在 AMD Instinct MI355X 上对 Qwen3-30B-A3B-Instruct 做全异步智能体 RL 训练，在 SWE-bench Verified 的 100 任务分层子集上把 pass@1 从 7.3% 提升到 27.5%。
Wiz：Research精选AI 评分8383 Wiz 披露 LiteLLM PyPI 包供应链攻击，恶意版本 v1.107.0 窃取凭据
Wiz 披露 10 月 21 日 11:39 UTC 有恶意版本 LiteLLM 1.107.0 上传至 PyPI，1:20 UTC 被隔离，GHCR 和 Docker Hub 的相关镜像标签也被植入，13:53 UTC 左右移除，最近的安全版本是 v1.106.2。
推荐理由：原文给出完整的攻击时间线、窃取目标和 IOC 清单，读者可以据此排查自身环境是否受影响。
The Decoder：AI NewsAI 评分4444 Nvidia 发布 DSX POD 模块化数据中心参考设计，部署时间从六个月缩短至最短 14 天
Nvidia 在 GTC Berlin 发布 DSX POD，这是围绕 Vera Rubin 系统的模块化数据中心参考设计，Dell、HPE、Lenovo、Schneider Electric 等伙伴在工厂内完成计算、网络、布线、供电与液冷安装及测试，现场只需接入电力、冷却和网络。
Rohan Paul@rohanpaul_aiAI 评分5151公众号：百度智能云AI 评分5353 百度搭子杭州发布企业场景新能力，推出 Computer Use、开发模式与 Agent 安全中心
百度在杭州举办搭子产品发布会，发布面向企业生产经营场景的多项新能力。百度搭子新增 Computer Use 和 Mobile Use 能力，可识别电脑或手机界面完成跨应用、多步骤操作；开发模式可读取本地项目、修改文件并接回本地 IDE。
IBM Research：AIAI 评分5353 IBM 发布 vLLM-Hook MIA 插件，实现近零开销的模型运行时监控与转向
IBM 发布插件库 vLLM-Hook MIA（model internals aperture），面向 vLLM 推理引擎，让开发者在不关闭图捕获与回放的情况下于运行时观察和干预模型内部状态，例如拒绝恶意提示词、标记幻觉或调整回复语气。
Databricks：BlogAI 评分4848 Databricks AI Runtime 正式可用，把托管 GPU 训练搬进 Lakehouse
Databricks 宣布 AI Runtime（AIR）正式可用，将全托管 GPU 基础设施直接接入 Databricks，让客户在企业数据所在的 Lakehouse 内训练模型。
Databricks：BlogAI 评分4848 Databricks AI Runtime 正式可用，联手 NVIDIA 简化开源模型企业数据定制
Databricks AI Runtime 在 GTC Berlin 上宣布正式可用，开发者可在无服务器 NVIDIA GPU 上使用 NVIDIA NeMo、NGC 容器和 Nemotron cookbooks 训练与微调开源模型。
NVIDIA BlogAI 评分4242 NVIDIA 扩展 Confidential Computing，推出 Confidential Bare Metal 供前沿模型厂商安全扩容
NVIDIA 扩展 Confidential Computing，新增 Confidential Bare Metal 部署选项，让前沿模型厂商在第三方专用基础设施上运行敏感负载并保留模型与数据控制权。
NVIDIA BlogAI 评分4141 NVIDIA cuDSS 正式发布，加速工程与科学仿真
NVIDIA cuDSS 现已正式可用，这一 CUDA-X 库将工程与科学仿真中的大型稀疏方程组求解迁移到 GPU 上。
NVIDIA：NewsroomAI 评分6767 NVIDIA 联合六家供应链伙伴扩大制造产能
NVIDIA 在 GTC Berlin 宣布与 Amkor、IBIDEN、KYEC、三星电机、SPIL 和欣兴电子合作扩大基板、先进封装、测试和光引擎产能。基板产能未来三年提升 2.5 倍，Amkor 先进封装产能到 2028 年底提升超 300%，KYEC 获 NVIDIA 11 亿美元产能预留预付款在美国建新厂，SPIL 光引擎产能目标 2027 年中提升 15 倍。
NVIDIA BlogAI 评分4242 NVIDIA 欧洲云合作伙伴扩展区域算力，支持安全 AI 智能体
NVIDIA 在欧洲、北欧、非洲和中亚的云合作伙伴正扩展区域算力，用于模型训练与推理及智能体、物理 AI 应用开发。Nscale 测试显示，基于 GB300 NVL72 的 NVIDIA DSX MaxLPS 在同等供电预算下多支持 37% 的 GPU、聚合推理吞吐提升近 50%。
NVIDIA：NewsroomAI 评分4646 NVIDIA 推出 DSX POD AI 工厂参考设计，部署时间从六个月缩短至 14 天
NVIDIA 在 GTC Berlin 推出 DSX POD 参考设计，用于在模块化集装箱内由合作伙伴预集成、预验证完整的 Vera Rubin AI 工厂，交付后接入已准备好的电力、冷却与网络即可投用。
NVIDIA：NewsroomAI 评分4646 NVIDIA DSX 助力欧洲生态打造全球最高效 AI 工厂
NVIDIA 在 GTC Berlin 宣布欧洲生态伙伴采用 NVIDIA DSX AI Factory Platform 建设 AI 工厂，其参考设计用闭式液冷与干冷器将冷却水耗降至近零，2GW 部署每天可省 5400 万升水。
公众号：小红书技术AI 评分4848 小红书 DoSA 将长上下文首 token 延迟无损减少近一半
小红书自研的稀疏注意力索引器加速方法 DoSA，在保持原始 Top-K 选择结果的前提下，用分数上下界提前排除不可能入选的候选。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分5757 NVIDIA 发布 OpenShell 参考架构，在基础设施层治理 AI 智能体工作负载
NVIDIA 介绍开源运行时 NVIDIA OpenShell 及其参考架构，将智能体视为不可信工作负载，通过 Gateway、Supervisor、Sandbox 和 Policy prover 四个组件在智能体之外实施确定性治理。
Tessl：产品与工程博客AI 评分5959 Tessl 博客：用 JavaScript 和 SQLite 搭建 AI 生成的个人应用
Tessl 工程博客提出个人应用这一新类别，认为 JavaScript/TypeScript 加 SQLite 足以支撑 AI 生成的一次性个人软件，并用波恩垃圾回收日程 Bonn Tonne、约时间应用 Daybreak 和销售报价原型 Quote-Assist 三个实例验证，示例均由 LLM 生成。
IT之家·人工智能AI 评分5858 AMD 与英特尔合作统一 PyTorch 的 x86 优化路径
AMD 和英特尔于 10 月 20 日宣布在 PyTorch 的 x86 CPU 优化方面合作，双方将把各自的优化工作整合进开源库 oneDNN，使其成为 PyTorch 内 x86 加速的默认开源库。
Latent SpaceAI 评分7272 DeepSeek 开源 DeepInfer 推理引擎：单集群日处理 155T token，估算推理毛利率约 80%
DeepSeek 开源其 V4.1 Flash 背后的生产推理引擎 DeepInfer（Apache 2.0），并附 deepseek-recipe 库，官方称单集群日吞吐 155 万亿 token、缓存命中 96%、错峰每加速器小时收入 $38。
MarkTechPostAI 评分6161 Google Cloud 发布 llm-d 1.0，为 TPU 与 GPU 集群带来缓存感知路由
Google 在 PyTorch Conference North America 发布 llm-d 1.0，这是该开源分布式推理栈的首个稳定版本，将 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。
IT之家·人工智能AI 评分4444 消息称 NVIDIA 下代 Groq LPU 芯片转向 3D 堆叠 DRAM，放弃大 SRAM 方案
韩媒 ZDNET Korea 报道称，NVIDIA 下代 Groq LPU AI 推理加速器芯片有望采用基于 TSV 工艺的 3D 堆叠 DRAM 方案。当前一代 Groq LPU 采用大容量 SRAM 缓存设计以提供快速解码输出，但 SRAM 容量较小、制程升级密度收益有限，在大型模型表现和芯片迭代上存在固有局限。
vLLM 官方博客精选AI 评分6767 蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，仓库为 github.com/vllm-project/humming。
推荐理由：原文给出统一量化表示加 JIT 编译的内核设计和多项基准数字，读者可以据此评估不同 GPU 上的量化推理方案选择。
Modal 官方工程博客精选AI 评分6161 Modal 推出 Sticky Sessions：同一会话请求始终路由到同一容器
Modal 发布 Sticky Sessions，基于 Modal Servers 让同一会话的所有请求固定路由到同一容器，用 @modal.sessioned() 装饰器配合 SDK 或 HTTP API 即可创建。
推荐理由：原文讲清了 Sticky Sessions 的路由、授权与弹性伸缩设计，以及语音智能体、共享房间和游戏等适用场景。
Latent SpaceAI 评分5252 SF Compute CEO Evan Conrad 谈可编程数据中心与 GPU 算力交易市场
Latent Space 在 AIE NYC 现场采访 SF Compute CEO Evan Conrad，探讨算力交易市场的现状与工程实现。Evan 用酒店类比解释公司从转租集群发展到构建完整云运营能力，主打“物理结算”即买家真正拿到可用算力；目前约 5% 总容量挂在订单簿上，客户每花 100 美元购买容量平均可回售拿回 25 美元。
The Decoder：AI NewsAI 评分6464 DeepSeek 开源推理框架 DeepInfer，采用 Apache License 2.0
DeepSeek 在 X 上宣布以 Apache License 2.0 开源内部推理框架 DeepInfer，该框架支撑其 V4.1-Flash 模型的大规模快速推理。
- Rohan Paul@rohanpaul_aiAI 评分5252引用Shadeform@shadeformai
Some of the most in-demand GPUs on Earth are sitting idle right now, and the teams that paid for them are just eating those costs. Today, we’re launching Flex VMs + Shadeform Spot to fix that👇
MarkTechPostAI 评分6666 Google 开源 TorchTPU：PyTorch 原生 Cloud TPU 后端，与 Meta 联合开发
Google 与 Meta 的 PyTorch 团队联合开发并在 PyTorch Conference 2026 上宣布开源 TorchTPU，让 PyTorch 通过 torch.device("tpu") 原生运行在 Cloud TPU 上，官方称其取代 PyTorch/XLA 并推荐用于所有新工作负载。
- Rohan Paul@rohanpaul_aiAI 评分5151
引用General Compute@general_computeOur heterogeneous cloud just got better. We're announcing a cluster scale deployment of @positron_ai as our next partner. We believe demand for fast inference will outstrip supply for the next decade. Our bet on Positron is another step towards getting fast inference for opensource models into builders' hands. Hardware goes live Q1 2027. Thanks to @mitesh711, @trsohmers and the whole Positron team! We're excited for this partnership. LFG!
Zyphra ResearchAI 评分4646 Zyphra Inference Wave 2：在 MI355X 上加速 MoE 与长上下文服务
Zyphra 发布 Inference Wave 2，在 MI355X 上通过投机解码与 MXFP4 量化加速 MoE 和长上下文服务。GLM-5.3 在 vLLM 基线中单请求解码提速 2.7x、32 并发提速 2.0x，分别采用 MTP（GLM-5.3、DeepSeek-V4）与 DSpark（Kimi-K3）。
vLLM 官方博客AI 评分5858 vLLM 发布 TorchTPU 后端，让 vLLM 在 Google Cloud TPU 上运行
vLLM 团队与 Inferact、Google 合作发布 vLLM TorchTPU（vllm-torchtpu），一个在 Google Cloud TPU 上运行 vLLM 的新后端插件，复用 vLLM 既有模型代码，无需改动模型定义即可部署大多数现有模型。
Databricks：BlogAI 评分4343 Hamlet 如何用 Databricks Lakebase Postgres 拿生产数据测试改动
Hamlet 借助 Databricks Lakebase Postgres 为每个 pull request 建立独立的生产数据分支，让工程师和 AI 编码智能体在不触碰生产环境的情况下用真实数据测试改动，合并仍需人工审批。Hamlet 索引全美超过 7,200 个治理机构的会议，平均每场会议约三个半小时，AI 负责定位值得关注的片段并回链视频原文。
LMSYS Blog同事件AI 评分7171 RadixArk 联合 Google 与 Meta 开源 SGLang-TorchTPU，让 SGLang 在 TPU 上原生提供 PyTorch 生产级推理
RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU，基于 Google 的 TorchTPU 让同一 SGLang 引擎可在 GPU 和 TPU 上提供生产级服务。
同一件事，精选收录的是《Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎》
PyTorch：BlogAI 评分4141 从 KTIR 到 SpyreCode：IBM Spyre 的 MLIR 数据流后端
IBM 公布 Torch-spyre 的 MLIR 数据流后端设计：KTIR 承接 Inductor 已确定的并行划分，开源 Dataflow Scheduler 将其拆分为程序并扩展为嵌套、双缓冲、多实例的数据流流水线。
PyTorch：Blog精选AI 评分7474 Google 与 Meta 发布 TorchTPU：PyTorch 原生 TPU 后端
Google 与 Meta 联合开源 TorchTPU，为 Google TPU 提供原生 PyTorch 后端，模型只需把 .to("cuda") 改成 .to("tpu") 即可开箱运行，无需 JAX 依赖。
推荐理由：原文详述架构、精度模式与多个训练推理案例，读者可据此评估把 PyTorch 工作流迁移到 TPU 的成本。
