#部署/工程

SGLang 与 Miles 在 NVIDIA Vera Rubin 上的早期适配：推理内核调优与端到端 RL 训练

RadixArk 的 SGLang & Miles 团队获得两台 NVIDIA Vera Rubin 节点（8 GPU）的早期访问，将 SGLang 用于推理、Miles 用于 RL 训练并首次跑通。

Rohan Paul@rohanpaul_ai· 12:01AI 评分4040

清华论文提出 TokenRouter，一个在 token 级进行大小模型路由的服务系统，吞吐量最高达现有方案的 64.15 倍。针对 vLLM、SGLang 等框架一次请求只跑一个模型、双模型协作时每步都等慢模型的问题，TokenRouter 让每个模型独立部署并来回传递半成品答案，同时保留 KV cache，并短暂挂起请求以凑更大批次。

vLLM 支持 NVIDIA Vera Rubin NVL72：吞吐量达 GB200 NVL72 的 7.8 倍

vLLM 现已支持 NVIDIA Vera Rubin NVL72，在 AgentX 上匹配交互性时每 GPU 吞吐量达 GB200 NVL72 的 7.8 倍，MLPerf 中 VLM 吞吐量最高为 GB300 NVL72 的 3.7 倍。

LangChain 如何用 Managed Deep Agents 打造开箱即用的智能体用户体验

LangChain 在 Managed Deep Agents v0.9 中新增 reactions API，可为 Slack 等渠道的分布式智能体动态分配 emoji 回应，支持字符串或返回 emoji 的可调用对象。该功能可接入 Jev 等决策模型，Jev 最多支持 255 个选项，并可用置信度阈值（低于 0.25 时回退到 👀）控制回应。

Ai2 如何用 GPU 时间预算与分层公平分配改造 GPU 集群调度

Ai2 用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器，把各研究项目该分多少 GPU 时间的争论从逐案运维操作变成透明的预算分配流程。

Ai2 如何用 GPU 时间预算和分层公平分享调度器优化集群分配

Ai2 AI Infrastructure 团队将基于优先级的 GPU 调度器替换为包含 GPU 时间预算、分层公平分享分配和时间切片合约的系统，用于管理数千张 NVIDIA H100、B200 和 B300，服务约 150 名内部研究员，需求超出容量 2-3 倍。

Baseten 解析高质量 NVFP4 量化：启发式规则、逐层敏感度评分与 SaturationQuant

Baseten 工程博客解析如何实现高质量 NVFP4 4-bit 量化，介绍了启发式规则、孤立层敏感度评分和 SaturationQuant 三种方案。NVFP4 每 16 个值共享一个 block scale，权重可直接计算 scale，激活值则需通过校准数据集统计分布。

蚂蚁 inclusionAI 开源 TorchTurbo：面向 SuperNode 的后训练训练引擎

蚂蚁 inclusionAI 在 GitHub 开源 TorchTurbo，一个面向 SuperNode 的后训练分布式训练引擎，基于 PyTorch FSDP2 与 Hugging Face Transformers，融合 FSDP、专家并行（EP）和 Ulysses 序列并行（SP）。

Databricks Lakebase Postgres 借助 LTAP 架构实现分钟级 TB 级数据加载

Databricks 为 Lakebase Postgres 引入 LTAP 架构，将批量数据加载从主计算节点卸载到 Spark 分布式引擎，内部基准测试显示加载 1 TB 数据现在只需不到 5 分钟。

如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频

ComfyUI 博客作者用智能体搜集各类优化，把 MiniMax H3 实时视频生成压缩到单张 RTX 5090（32 GB 显存）上运行，生成 30 秒视频耗时 23.51 秒，达 1.28 倍实时吞吐。

NVIDIA Dynamo 通过会话级 ID 优化智能体推理：路由、准入控制与 KV 缓存管理

NVIDIA Dynamo 引入统一的会话级标识符 session_id，把请求级推理服务升级为程序感知系统，覆盖会话感知路由、共享 KV 索引与程序化缓存迁移，兼容 vLLM 和 SGLang。

Unsloth AI@UnslothAI· 00:29AI 评分5353

Microsoft 发布开源仓库 mxc（Microsoft eXecution Container），提供官方 Windows 沙箱支持；Unsloth 与 Windows 团队合作将其接入，OS 级沙箱开销低于 100 ms。Unsloth 提供 low 和 high 两档安全模式，low 用字符串、AST 和正则检查拦截危险操作如 rm -rf 和 token 外传，high 是真正的 OS 级隔离；按 Full Access 可完全关闭沙箱。指南：https://unsloth.ai/docs/new/studio/sandboxing-in-unsloth

Goodfire 为 Kimi K3 和 GLM 5.3 训练并部署生产级网络安全监控器

Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联，并部署到生产推理栈。

Zyphra 研究：MoE 预训练中的专家耦合（Expert Coupling）

Zyphra Research 提出利用 MoE 路由的层内与跨层相关性来优化专家放置，从而降低 all-to-all 通信开销。实验显示，在 8 台 MI300x 节点集群上，EP8 升至 EP32 时 all-to-all 占训练步时间比例从 13% 升至 45%（top-2 路由），top-6 路由下则从 24% 升至 60%。

百度智能云BOS元数据管理系统Mantle入选2026中国算力大会“年度重大突破成果”

百度智能云对象存储BOS的层级Namespace系统Mantle入选2026中国算力大会“算力中国·年度重大突破成果”。论文评测显示，与Tectonic、InfiniFS和LocoFS相比，Mantle元数据访问延迟降低6.6%至99.1%，交互式Spark分析作业完成时间缩短63.3%至93.3%，AI音频预处理任务缩短38.5%至47.7%。Mantle已在BOS生产环境大规模上线运行三年。

AI 栈中的保存缺口：为什么能力进步快于可重建性

O'Reilly Radar 文章提出 AI 系统存在"保存缺口"：运行时依赖（模型端点、检索数据、策略、工具契约等）在执行时才确定，现有基础设施只保存模型、代码、部署和观测记录，不保存某次执行的实际绑定关系。作者为此提出参考架构 Orrery，用于保存重建 AI 系统历史执行所需的运行时绑定与依赖状态，并区分了"可复现性"与"可重建性"两个概念。

Architect 推出 Liquid Inference，为 LLM 推理引入实时竞价路由

Architect Financial Technologies 发布 Liquid Inference，一个对每次请求进行实时拍卖的 LLM 推理市场，价格最低且满足买家规则的报价胜出，首 token 生成前锁定最高价。

Unsloth Studio 如何在模型仓库变更后重新校验再运行

Unsloth 发布 Unsloth Studio 与 Unsloth Desktop 安全概览，说明其在下载到执行之间设置四道检查点：代码指纹绑定审批、独立权重文件闸门、探测式 OS 沙箱与包内容扫描。

Databricks 为云数据仓库成本设置预算与告警

Databricks 在 Data & AI Platform 上推出主动式成本管理方案，通过成本归因、预算、告警、仪表盘和优化五大支柱，让团队在花钱前就设好护栏。

如何将 dbt ETL 管道迁移到 Databricks

Databricks 发布指南，介绍如何通过更换 dbt-databricks 适配器和连接配置，将现有 dbt 转换项目重新指向 Databricks Lakehouse，无需重写 DAG 或业务逻辑。

vLLM 详解 DeepSeek-V4.1-Flash 优化：Agent 场景吞吐提升 5 倍

Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化，低并发速度提升 1.9 倍，150 TPS 约束下吞吐提升 5.3 倍。

Pragmatic Engineer 播客对话 Sam Newman：微服务、弹性系统与 AI 时代的软件架构

Pragmatic Engineer 播客发布与 Sam Newman 的访谈，其新书 Building Resilient Distributed Systems 印刷版于 10 月 7 日上市。Newman 将分布式计算八大谬误归结为三条规则，并讨论幂等键与指纹两种幂等方案、弹性四概念，以及 AI 时代的多供应商对冲、模块化架构和避免对 AI 的认知投降。

Georgi Gerganov@ggerganov· 01:57AI 评分5959

llama.cpp 可通过 ggml RPC 后端在异构设备间分布式推理，作者 Georgi Gerganov 表示这是高级设置，后续会让普通用户更容易使用。被引用的实测称，MiMo 2.6 Flash 的原生 mxfp4 权重可跨 RTX 6000 GPU 与 M5 笔记本以 40 tokens/sec 通过 10 GbE 运行，llama.cpp 开箱即支持。

Google@Google· 01:13AI 评分4242

有些东西只能在太空中测试——比如硬件如何经受太阳活动、宇宙射线，或辐射引发的位翻转错误——所以我们正把首批 TPU 送入轨道。

NVIDIA cuOpt 用 mPDLP 将决策优化扩展至 1 亿变量以上

NVIDIA cuOpt 推出多 GPU 的 mPDLP 求解器，通过 NVLink 连接的 GPU 分布式求解线性规划问题，求解速度比一年前快近 10x，单 GPU 峰值内存占用最多降低 6x（LP 问题上限 2.1B 非零元）。该求解器已在 Kinaxis 的供应链生产规划和 PSR 的大规模能源系统容量扩展模型中得到应用。

Meta 开源 C++ 分配求解器 Rebalancer，日均处理约 4000 万次分配问题

Meta 开源 Rebalancer，一个带 Python 接口的 C++ 分配问题求解库，已在 Meta 内部用于资源分配超过 9 年。

Laya 开发者指南：用 CLINC150 实测零样本决策与校准

教程实测 Convai Innovations 开源决策引擎 Laya 0.3.27，一个 4.21 亿参数的非自回归 System 1 模型，单次前向返回类型化问题的概率且零输出 token。

Google Cloud Run 支持免费认领自定义子域名

Google 宣布 Cloud Run 用户可零成本认领易记的全球可用子域名（如 my-cool-app.cloud.run），无需配置负载均衡器、DNS 记录或 CNAME。Cloud Run 会自动处理 SSL/TLS 证书和全球路由，一条命令即可把代码部署为可分享的应用。

PyTorch 用 FBTriton 内核现代化 TBE 嵌入查表

PyTorch 博客详解了用于推荐系统 Table Batched Embedding（TBE）前向与反向的 FBTriton 内核设计，其 Triton 实现在这些负载上超过了原有 CUDA 内核。

GitHub 重建 Git 基础设施，应对智能体规模开发

GitHub 宣布重建 Git 基础设施，以支持智能体规模开发带来的高并发读写负载。2026 年 8 月 GitHub 月度 Git 事件量达 473.3 billion（一年翻倍以上），9 月智能体和开发者产生 7.38 billion commits（超一年前五倍），pushes 同比增长 4.9 倍。

Rohan Paul@rohanpaul_ai· 04:55AI 评分5555

Overmind 发布一个可将代码与 traces 转为 context graph、构建训练与评测数据并微调小型专用模型的工具，代码开源于 github.com/overmind-core/overmind。

NVIDIA AICR v1.0 发布：开放、稳定、可验证的 GPU 集群配置

NVIDIA 发布 AI Cluster Runtime（AICR）v1.0，为其 CLI、REST API、Go SDK、bundle 布局和 artifact schema 建立稳定兼容契约。

openTPU 开源 AI 加速器：AI 智能体设计的硬件在 FPGA 上运行十余个模型

openTPU 是一个开源 AI 加速器项目，将 auto-arch-tournament 的经验用于 AI 加速器设计，探索 AI 智能体在硬件设计上能走多远。

IFCO 如何在 Databricks 上扩展和运维大型 dbt 项目：性能、可见性与调试

IFCO 数据平台团队与 Databricks Forward Deployed Engineering 合作，将核心语义层作业的每日运行时间缩短超过 60%，并停用了昂贵的夜间全量刷新。改造后转换逻辑仍留在 dbt 中，运行在 Databricks 上，通过 Liquid clustering、merge 增量策略和行哈希校验等配置，让每次运行只触碰实际变更的数据。

Strata 开源引擎让 12GB 显存显卡运行 125B Qwen3.8-Flash-Next 模型

开发者 Niko1221 开源 Strata 推理引擎，可在 12GB 及以上显存的消费级显卡上运行量化的 125B 参数 Qwen3.8-Flash-Next 模型。

教程：基于 NVIDIA Cosmos3-DROID 构建流式机器人学习管线

教程展示在不本地下载 707 GB 数据集的情况下，围绕 NVIDIA Cosmos3-DROID 构建端到端流式机器人学习管线。

Databricks Runtime 推出 NEAREST BY join 以扩展批量向量搜索

Databricks 在 Databricks Runtime 中推出 NEAREST BY join 语法，把批量向量搜索实现为引擎原生的 top-k 排名 join，而非调用外部实时端点。

Together AI 推出 Together Link，一键在现有编码智能体中接入开源模型并降费超 50%

Together AI 发布 Together Link，把团队已用的编码智能体工具连接到 Together AI 上的开源模型，宣称可节省超过 50% 支出。

PyTorch 加速器集成工作组 2026 H1 进展：CRCR 跨仓库 CI 中继与测试重构

PyTorch 加速器集成工作组公布 2026 H1 进展，推出跨仓库 CI 中继（CRCR）机制，可在 pytorch/pytorch 的 PR 提交后并行触发下游仓库 CI 并回传状态至 hud.pytorch.org/crcr。

OpenRouter 对比四家 AI Agent 服务端代码执行沙箱工具

OpenRouter 发文比较 OpenAI、Anthropic、Google 与 OpenRouter 四家的服务端代码执行工具，介绍各自沙箱的语言、网络、持久化与计费差异，并推出处于 beta 的 openrouter:shell 与 openrouter:bash 工具，可在 Responses 和 Messages API 上为任意模型运行命令。