SGLang 披露并修复 PD 分离服务中的跨请求 KVCache 竞态问题
SGLang 团队与 Cloudflare 协调披露 2026 年 8 月 27 日至 9 月 9 日影响 Workers AI 上 @cf/zai-org/glm-5.3 的跨请求 KVCache 暴露问题。
推荐理由：SGLang 团队复盘了异步 KVCache 传输中的跨请求泄漏机制、复现方法和修复方案，对运维长上下文 PD 部署有直接指导意义。
#部署/工程
LMSYS Blog精选AI 评分7171
Wiz：Research精选AI 评分8383 Wiz 披露 LiteLLM PyPI 包供应链攻击，恶意版本 v1.107.0 窃取凭据
Wiz 披露 10 月 21 日 11:39 UTC 有恶意版本 LiteLLM 1.107.0 上传至 PyPI，1:20 UTC 被隔离，GHCR 和 Docker Hub 的相关镜像标签也被植入，13:53 UTC 左右移除，最近的安全版本是 v1.106.2。
推荐理由：原文给出完整的攻击时间线、窃取目标和 IOC 清单，读者可以据此排查自身环境是否受影响。
vLLM 官方博客精选AI 评分6767 蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，仓库为 github.com/vllm-project/humming。
推荐理由：原文给出统一量化表示加 JIT 编译的内核设计和多项基准数字，读者可以据此评估不同 GPU 上的量化推理方案选择。
Modal 官方工程博客精选AI 评分6161 Modal 推出 Sticky Sessions：同一会话请求始终路由到同一容器
Modal 发布 Sticky Sessions，基于 Modal Servers 让同一会话的所有请求固定路由到同一容器，用 @modal.sessioned() 装饰器配合 SDK 或 HTTP API 即可创建。
推荐理由：原文讲清了 Sticky Sessions 的路由、授权与弹性伸缩设计，以及语音智能体、共享房间和游戏等适用场景。
PyTorch：Blog精选AI 评分7474 Google 与 Meta 发布 TorchTPU：PyTorch 原生 TPU 后端
Google 与 Meta 联合开源 TorchTPU，为 Google TPU 提供原生 PyTorch 后端，模型只需把 .to("cuda") 改成 .to("tpu") 即可开箱运行，无需 JAX 依赖。
推荐理由：原文详述架构、精度模式与多个训练推理案例，读者可据此评估把 PyTorch 工作流迁移到 TPU 的成本。
Google Developers Blog精选AI 评分7070 Google 发布 TorchTitan TPU 分叉并给出模型优化 Playbook
Google 推出 TorchTitan TPU 分叉（github.com/google-pytorch/torchtitan），配合 TorchTPU 原生后端在 Cloud TPU 上训练 PyTorch 模型，提供 SimpleFSDP、Graph Trainer、Pallas 内核和优化 Playbook。
推荐理由：原文给出从基准到编译、内核、内存的完整 TPU 优化顺序，以及 FLUX.1、Qwen3 235B 等实测数字，可迁移到自己的训练工作流。
Google Developers Blog精选AI 评分7171 Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎
Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎，分别与 Inferact、RadixArk 合作开发，让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。
推荐理由：原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口，读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。
IBM Research：AI精选AI 评分6060 llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0，这是一个 Kubernetes 原生的分布式推理服务框架，支持任意模型、任意加速器和任意云。
推荐理由：原文给出 llm-d 1.0 的具体能力变化和实测成本数据，读者可据此评估自建推理基础设施是否划算。
n8n Blog精选AI 评分6666 n8n 教程：在 NVIDIA DGX Spark 上离线运行全套 AI 工作流
n8n 博客发布教程，讲解如何在一台 NVIDIA DGX Spark（128GB 统一内存）上部署七个本地模型，通过 LiteLLM 单一 OpenAI 兼容端点驱动 n8n 工作流，全程不调用云 API。
推荐理由：作者在自有 DGX Spark 上实测整套本地模型栈，给出内存分配、License 筛选和并发性能数据，可迁移到小型团队的私有化部署。
Meta Engineering Blog精选AI 评分6666 Meta 详解 Prometheus 吉瓦级超集群：一期已完成并用于训练 Muse 模型
Meta 介绍其位于俄亥俄州 New Albany 的吉瓦级超集群 Prometheus，一期已建成并用于训练 Muse 系列基础模型，目标扩展到约 100 万张 GPU。
推荐理由：Meta 官方拆解其俄亥俄超集群的网络、散热与可靠性工程，读者可了解吉瓦级训练集群的实际运行细节。
PyTorch：Blog精选AI 评分6767 AWS 发布 TorchNeuron：Trainium 的原生 PyTorch 后端开源
AWS 宣布推出 TorchNeuron，一个面向 Trainium 的开源原生 PyTorch 后端，10 月 20 日以 Apache 2.0 协议在 PyTorch Conference North America 开启公测。
推荐理由：原文给出 TorchNeuron 的架构、执行模式和兼容性测试数据，开发者可据此评估把现有 PyTorch 工作流迁到 Trainium 的成本。
LMSYS Blog精选AI 评分6060 SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟
SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核，在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。
推荐理由：原文给出 SGLang 低延迟模式的具体内核优化路径和 NVIDIA、AMD 两套实测数字，可帮助读者评估低并发推理场景的收益。
vLLM 官方博客精选AI 评分6565 vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE 模型，在 NVIDIA Blackwell 上完成优化。
推荐理由：原文给出了 Beam 在 vLLM 上的具体优化数据和部署命令，读者可以直接评估落地配置与吞吐收益。
vLLM 官方博客精选AI 评分6060 vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
推荐理由：原文拆解了 50 多个 PR 背后的缓存、MoE、内核融合与投机解码优化思路，读者可迁移到自己的推理栈排查瓶颈。
LMSYS Blog精选AI 评分6464 SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持
SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open（816B 参数、约 42B 激活、1M token 上下文）提供 Day-0 推理支持，权重提供 NVFP4 和 BF16 两种格式。
推荐理由：原文给出了多平台推理与 RL 训练支持的完整细节和实测吞吐数据，读者可以据此评估大规模部署该模型的可行路径。
Apple Machine Learning Research精选AI 评分6060 Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型
Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型，使用今天发布的新版 MLX（v0.30.1 起）与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
推荐理由：Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据，可迁移到本地大模型部署实践。
Databricks：Blog精选AI 评分6161 Databricks 讲解如何在 AI Runtime 上将 Qwen 3.8 27B 微调时间缩短 6 倍
Databricks 演示通过系统性性能优化，将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟，提速 6 倍。
推荐理由：原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果，读者可迁移到自己的 LLM 微调任务。
vLLM 官方博客精选AI 评分6060 vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification
vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。
推荐理由：原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据，方法可直接在 vLLM 中配置复用。
蚂蚁百灵：Developer Blog精选AI 评分6565 蚂蚁百灵开源 Ling-3.1-flash：总参数约 560B、每 Token 激活约 25B，支持 1M 上下文
蚂蚁百灵正式开源 Ling-3.1-flash，权重可在 Hugging Face 和 ModelScope 获取。模型总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文；经 MXFP4 与 block-FP8 量化后权重占用从约 534GB 降至 292GB，Hopper GPU 测试中服务部署由 8 卡降至 4 卡。
推荐理由：官方开源公告给出权重入口、Artificial Analysis 与 Design Arena 评测数据和 4 卡部署实测，便于评估自部署可行性。
Modal 官方工程博客精选AI 评分7171 Modal 年化收入突破 10 亿美元并完成 7.5 亿美元 D 轮融资
Modal 宣布年化收入突破 10 亿美元，并完成 7.5 亿美元 D 轮融资，投后估值 157.5 亿美元，由 Accel 领投，Kleiner Perkins 及现有投资方跟投。
推荐理由：作者作为当事方给出融资规模、估值和业务数据，并说明自研底层技术栈与新产品线，读者可据此了解 Modal 的增长轨迹。