SGLang 披露并修复 PD 分离服务中的跨请求 KVCache 竞态问题
SGLang 团队与 Cloudflare 协调披露 2026 年 8 月 27 日至 9 月 9 日影响 Workers AI 上 @cf/zai-org/glm-5.3 的跨请求 KVCache 暴露问题。
推荐理由：SGLang 团队复盘了异步 KVCache 传输中的跨请求泄漏机制、复现方法和修复方案，对运维长上下文 PD 部署有直接指导意义。
#部署/工程
LMSYS Blog精选AI 评分7171
Google Developers Blog精选AI 评分7070 Google 发布 TorchTitan TPU 分叉并给出模型优化 Playbook
Google 推出 TorchTitan TPU 分叉（github.com/google-pytorch/torchtitan），配合 TorchTPU 原生后端在 Cloud TPU 上训练 PyTorch 模型，提供 SimpleFSDP、Graph Trainer、Pallas 内核和优化 Playbook。
推荐理由：原文给出从基准到编译、内核、内存的完整 TPU 优化顺序，以及 FLUX.1、Qwen3 235B 等实测数字，可迁移到自己的训练工作流。
公众号：面壁智能精选AI 评分6868 面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术，称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由：原文拆解了 LES 在调度、存储、计算三层的具体设计，并给出消融数据，方法可迁移到其他 MoE 模型的端侧部署。
n8n Blog精选AI 评分6666 n8n 教程：在 NVIDIA DGX Spark 上离线运行全套 AI 工作流
n8n 博客发布教程，讲解如何在一台 NVIDIA DGX Spark（128GB 统一内存）上部署七个本地模型，通过 LiteLLM 单一 OpenAI 兼容端点驱动 n8n 工作流，全程不调用云 API。
推荐理由：作者在自有 DGX Spark 上实测整套本地模型栈，给出内存分配、License 筛选和并发性能数据，可迁移到小型团队的私有化部署。
Meta Engineering Blog精选AI 评分6666 Meta 详解 Prometheus 吉瓦级超集群：一期已完成并用于训练 Muse 模型
Meta 介绍其位于俄亥俄州 New Albany 的吉瓦级超集群 Prometheus，一期已建成并用于训练 Muse 系列基础模型，目标扩展到约 100 万张 GPU。
推荐理由：Meta 官方拆解其俄亥俄超集群的网络、散热与可靠性工程，读者可了解吉瓦级训练集群的实际运行细节。
数字生命卡兹克@Khazix0918精选AI 评分6868推荐理由：作者亲测 RTX Spark 上的本地模型部署路径，并把整套流程封装成 WorkBuddy 专家，读者可以照着复现本地 Token 自由的用法。
公众号：数字生命卡兹克精选AI 评分6767 卡兹克实测37999元RTX Spark轻薄本：一周实现本地Token自由
数字生命卡兹克分享华硕ProArt创16（RTX Spark N1X芯片、128G统一内存、37999元）的一周深度使用体验，该机全球开售时128G版本在京东几分钟内被抢空。
推荐理由：作者用一周实测讲清了如何在128G统一内存的RTX Spark笔记本上部署本地模型，并给出可复用的WorkBuddy专家整合流程。
vLLM 官方博客精选AI 评分6060 vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
推荐理由：原文拆解了 50 多个 PR 背后的缓存、MoE、内核融合与投机解码优化思路，读者可迁移到自己的推理栈排查瓶颈。
Apple Machine Learning Research精选AI 评分6060 Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型
Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型，使用今天发布的新版 MLX（v0.30.1 起）与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
推荐理由：Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据，可迁移到本地大模型部署实践。
Databricks：Blog精选AI 评分6161 Databricks 讲解如何在 AI Runtime 上将 Qwen 3.8 27B 微调时间缩短 6 倍
Databricks 演示通过系统性性能优化，将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟，提速 6 倍。
推荐理由：原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果，读者可迁移到自己的 LLM 微调任务。
Anthropic：Engineering精选AI 评分7272 Anthropic 自研版本控制系统 Scion，五个月完成 monorepo 从 git 迁移
Anthropic 发布工程复盘，因 Claude 使日均合并代码量从 2026 年 5 月约 2,500 增至 9 月超 30,000，五个月内自研版本控制系统 Scion 并完全替代 git，同时推出代码评审工具 Antique。
推荐理由：Anthropic 自建版本控制系统 Scion 的完整复盘，给出面向智能体规模负载的设计原则、架构细节和实测收益，可迁移到其他大规模仓库场景。
LangChain：Blog精选AI 评分6161 LangChain 发布 langchain-scaledown 集成，用 ScaleDown 约束解码模型管理长时智能体上下文
LangChain 发布 langchain-scaledown 集成，并在 LangSmith LLM Gateway 中支持 ScaleDown 的约束解码模型（CDM），用于降低长时智能体上下文管理的成本和延迟。
推荐理由：文章给出 ScaleDown 约束解码模型与 LangChain、Deep Agents 中间件的具体配置方法，读者可以按场景迁移用于压缩智能体上下文。
Anthropic：Research精选AI 评分6969 Anthropic 自研版本控制系统 Scion，五个月内完成 monorepo 从 git 的全面迁移
Anthropic 发文详解其自研版本控制系统 Scion：因 Claude 使日均合并代码从 2026 年 5 月约 2,500 次增至 9 月超 30,000 次，git 难以承载，团队七人在五个月内构建 Scion 和代码评审工具 Antique 并完成迁移。
推荐理由：Anthropic 复盘自研版本控制 Scion 的设计原则与迁移经验，为面临类似 agent 规模代码压力的团队提供了可借鉴思路。
Comfy Blog精选AI 评分6666 如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频
ComfyUI 博客作者用智能体搜集各类优化，把 MiniMax H3 实时视频生成压缩到单张 RTX 5090（32 GB 显存）上运行，生成 30 秒视频耗时 23.51 秒，达 1.28 倍实时吞吐。
推荐理由：原文给出单张 RTX 5090 实现实时直播视频生成的完整优化清单和开源节点，读者可复现这套压成本思路。
vLLM 官方博客精选AI 评分6363 vLLM 详解 DeepSeek-V4.1-Flash 优化：Agent 场景吞吐提升 5 倍
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化，低并发速度提升 1.9 倍，150 TPS 约束下吞吐提升 5.3 倍。
推荐理由：vLLM 团队拆解了 SWA bounded replay 和一系列内核优化，说明五倍吞吐提升具体来自哪里，方法可复用于其他 Agent 服务场景。
Baseten 工程博客精选AI 评分6464 Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%
Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4，单张 B200）自动构建推理引擎 VibeQwen，单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。
推荐理由：作者亲测用智能体生成定制推理引擎，给出了相对 vLLM 的具体性能数据和成本，可帮助读者评估自动优化的实际可行性。
OpenRouter：Announcements精选AI 评分6767 OpenRouter 教程：如何在 CI 中用 LLM eval 门禁拦截 Pull Request
OpenRouter 发布教程，讲解如何用固定的 eval 集在 CI 中门禁 pull request，当通过率低于阈值时脚本以非零退出码阻止合并，做法与单元测试门禁一致。
推荐理由：原文给出了从脚本到 GitHub Actions 的完整可复现流程，并强调了路径过滤须放 job 层、阈值应实测等易错点。
OpenRouter：Announcements精选AI 评分6767 OpenRouter 发布 Agent 模型成本与质量权衡选型框架
OpenRouter 发布一个三步框架，用于为 Agent 任务选出以最低成本达到质量门槛的模型，而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛，再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本，最后选出以超过运行间分数波动的余量过线的最便宜模型。
推荐理由：原文给出可复用的三步选型方法，读者可以据此按任务质量门槛测量并选出成本最低的够用模型。
OpenRouter：Announcements精选AI 评分6868 OpenRouter 指南：用置信度阈值实现模型分级升级路由
OpenRouter 发布教程，讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段，低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率，应基于自己流量的分数段错误率排序设定阈值，并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。
推荐理由：原文给出按置信度分数分级路由的完整做法，读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。
vLLM 官方博客精选AI 评分6262 vLLM 分离式推理（Disaggregated Serving）实用指南
vLLM 官方博客发布分离式推理实用指南，讲解 vLLM v0.30.0 及以上版本中 prefill/decode 分离、无 GPU render 前端及两者组合的原理与运行方法。
推荐理由：作者来自参与开发的 IBM Research，给出 P/D 与 render 拆分的收益数据、适用场景表和可复用运行方法。