vLLM 讲解 Elastic EP 如何借助 NIXL EP 实现近零停机扩缩容
vLLM 官方博客讲解如何通过异步准备与 NIXL EP 实现 Elastic Expert Parallelism 的近零停机扩缩容。
#部署/工程
vLLM 官方博客AI 评分5353 Hugging Face 官方团队博客AI 评分5757 TorchNeuron 开放公测：Hugging Face 库原生支持 AWS Trainium
Hugging Face 宣布 Transformers、Diffusers、Accelerate、PEFT 和 TRL 通过 TorchNeuron 原生支持 AWS Trainium。
Together AI 研究与产品博客AI 评分5959 Together AI 发布 Together Post-Training 定制模型训练服务
Together AI 推出 Together Post-Training 服务，支持用户自定义完整训练循环，通过 RL 环境奖励和 SFT 数据训练专属模型。
Google Developers BlogAI 评分5656 Google 发布 LiteRT Tensor API，用 C++ 手写端侧模型图并跨 CPU、GPU、NPU 运行
Google 发布 LiteRT Tensor API，一个轻量 C++ 模型编写层，可在 CPU、GPU（ML Drift）、NPU 上运行同一计算图，或经 XNNPACK 无需模型文件直接在 CPU 运行。
Qoder 产品与技术博客AI 评分4646 Qoder Fast 模式速度优化详解：首次响应从 8 秒缩短至 3 秒
Qoder 详解 Fast 档位的速度优化技术，首次响应从 8 秒缩短至 3 秒，Credits 消耗从 1.1x 降到 0.8x。优化覆盖客户端、Harness 工具并行、模型调度与网络链路四部分，其中冷启动耗时优化 60% 以上，工具并行率提升 50% 以上，网络大包传输 p95 消耗降低 50% 以上。
PyTorch：BlogAI 评分4545 PyTorch Helion 借助 NVIDIA CompileIQ 联合搜索 ptxas 编译控制
PyTorch Helion 现可借助 NVIDIA CompileIQ 搜索 ptxas 编译控制空间，并将其与 tile 大小、warp 数等内核配置联合调优，在已离线调优的约 27 个内核上进一步提速。CompileIQ 把调优结果打包为可移植的 Advanced Control File（ACF），Helion 的 autotuner 可将 ACF 列表作为额外搜索维度评估。
Modal 官方工程博客AI 评分5151 Modal 实测 NVIDIA Vera CPU：高负载下沙箱吞吐翻倍
Modal 工程团队分享 NVIDIA Vera CPU（Arm 兼容）在 Modal Sandboxes 的基准测试，作者自建 Agentless Agent Bench（50 个 Terminal-Bench oracle 解法与验证器、剥离网络调用、并发 Docker 容器运行）对比多款 CPU。
n8n Blog精选AI 评分6666 n8n 教程：在 NVIDIA DGX Spark 上离线运行全套 AI 工作流
n8n 博客发布教程，讲解如何在一台 NVIDIA DGX Spark（128GB 统一内存）上部署七个本地模型，通过 LiteLLM 单一 OpenAI 兼容端点驱动 n8n 工作流，全程不调用云 API。
推荐理由：作者在自有 DGX Spark 上实测整套本地模型栈，给出内存分配、License 筛选和并发性能数据，可迁移到小型团队的私有化部署。
Meta Engineering Blog精选AI 评分6666 Meta 详解 Prometheus 吉瓦级超集群：一期已完成并用于训练 Muse 模型
Meta 介绍其位于俄亥俄州 New Albany 的吉瓦级超集群 Prometheus，一期已建成并用于训练 Muse 系列基础模型，目标扩展到约 100 万张 GPU。
推荐理由：Meta 官方拆解其俄亥俄超集群的网络、散热与可靠性工程，读者可了解吉瓦级训练集群的实际运行细节。
PyTorch：Blog精选AI 评分6767 AWS 发布 TorchNeuron：Trainium 的原生 PyTorch 后端开源
AWS 宣布推出 TorchNeuron，一个面向 Trainium 的开源原生 PyTorch 后端，10 月 20 日以 Apache 2.0 协议在 PyTorch Conference North America 开启公测。
推荐理由：原文给出 TorchNeuron 的架构、执行模式和兼容性测试数据，开发者可据此评估把现有 PyTorch 工作流迁到 Trainium 的成本。
Modal 官方工程博客AI 评分4747 Legora 如何在 Modal Sandboxes 上并行运行 2,000 个智能体评测
Legora 将整个应用按指定 commit 装入独立的 Modal Sandbox，让每次评测都能并行运行 2,000 个智能体任务。其典型实验为 100 个用例、4 种 harness 变体、每种 5 次试验，并借助 Modal Volumes 复用文档与数据库状态。该平台已用于内部基准 BAR，并通过智能体自动爬坡优化 harness，将智能体成本降低 30%。
LMSYS BlogAI 评分5353 SGLang 推出低延迟模式，通过插件框架引入专用内核
SGLang 团队联合 NVIDIA 和 AMD 推出 SGLang Low-Latency Mode，通过插件框架把专用内核接入 SGLang，在 AgentX trace replay 中将 P90 每用户 token 生成速度在 NVIDIA GB300 上提升最高 1.38×、在 AMD MI355X 上提升最高 1.56×。
LMSYS Blog精选AI 评分6060 SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟
SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核，在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。
推荐理由：原文给出 SGLang 低延迟模式的具体内核优化路径和 NVIDIA、AMD 两套实测数字，可帮助读者评估低并发推理场景的收益。
vLLM 官方博客AI 评分5757 vLLM 团队详解 Kimi K3 解码优化：GB300 上 842 tokens/s 与快速验证方法
vLLM 团队介绍如何用 Agent 辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径，覆盖 attention、MoE 和 8/16 GPU 通信。
Databricks：BlogAI 评分5252 Databricks 多语句事务正式可用，湖仓可承载传统数仓工作负载
Databricks 宣布 Multi-Statement Transactions 正式可用，支持 UC 托管的 Delta Lake 和 Apache Iceberg 表，让多表多步骤工作流获得原子保证而无需独立数仓。
Replit：BlogAI 评分4444 Replit 推出 Bring Your Own Cloud，支持 Azure、Google Cloud 和 AWS
Replit 推出 Bring Your Own Cloud（BYOC），可将 Replit 平台与已发布项目托管部署进企业自有云租户，支持 Microsoft Azure、Google Cloud 和 Amazon Web Services。
Modal 官方工程博客AI 评分5959 Modal 如何为 VM Sandboxes 打造 ImageFS-blk 高性能文件系统
Modal 工程博客介绍其为 VM Sandboxes 打造的 ImageFS-blk 块设备文件系统后端。
vLLM 官方博客精选AI 评分6565 vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE 模型，在 NVIDIA Blackwell 上完成优化。
推荐理由：原文给出了 Beam 在 vLLM 上的具体优化数据和部署命令，读者可以直接评估落地配置与吞吐收益。
vLLM 官方博客精选AI 评分6060 vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
推荐理由：原文拆解了 50 多个 PR 背后的缓存、MoE、内核融合与投机解码优化思路，读者可迁移到自己的推理栈排查瓶颈。
Cerebras：BlogAI 评分5353 Cerebras 详解 agent harness：同模型在不同 harness 下表现差异显著
Cerebras 发文提出 agent 是模型加 harness 的组合，harness 决定上下文、工具、循环与终止等环节，并引用论文称 Claude Opus 4.5 在 SEAL scaffold 下 SWE-bench Pro 得分 45.9%，经 Claude Code 则为 55.4%。
LMSYS BlogAI 评分5959 SGLang 为 NVIDIA Nemotron 3.5 Super VL 提供 Day-0 支持
SGLang 宣布为 NVIDIA Nemotron 3.5 Super VL 提供 Day-0 部署支持。
Thinking Machines Lab：NewsAI 评分5959 Thinking Machines 回顾 Tinker 一周年：把领域专长变成定制模型
Thinking Machines Lab 发布 Tinker 上线一周年的复盘，称企业用其定制模型可在特定任务上以更低成本超过前沿大模型：Bridgewater 的 text-to-SQL 模型以 15% 的成本在准确率上超过 Fable 5 和 GPT-5.6 Sol，Glean 的定制搜索智能体速度翻倍且 token 用量减少 25%。
GitHub BlogAI 评分5050 GitHub 如何用 Evergreen 自动化共享组织的访问审查与仓库清理
GitHub 用原生功能构建的 GitHub App Evergreen，通过两个工作流自动化组织卫生：每季度审查外部协作者访问权限，未响应即默认撤销；检测并归档长期无人类活动的仓库，且从不删除仓库内容。它由 Go webhook 服务器驱动，状态以 JSON 文件提交到 controller repo，用 git 历史充当审计记录，决策通过仓库内的 checklist issue 完成。
LMSYS Blog精选AI 评分6464 SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持
SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open（816B 参数、约 42B 激活、1M token 上下文）提供 Day-0 推理支持，权重提供 NVFP4 和 BF16 两种格式。
推荐理由：原文给出了多平台推理与 RL 训练支持的完整细节和实测吞吐数据，读者可以据此评估大规模部署该模型的可行路径。
Meta Engineering BlogAI 评分4747 Meta 复盘 2026 世界杯：WhatsApp 每秒 3000 万条消息创纪录
Meta 复盘 2026 世界杯期间的基础设施表现：7 月 19 日决赛（阿根廷对西班牙）WhatsApp 峰值超每秒 3000 万条消息，创平台历史纪录，是 2026 年跨年峰值的 1.23 倍。
Databricks：BlogAI 评分4343 2026 年最佳 AI 数据库方案对比：从 pgvector 到 Pinecone、Milvus
Databricks 发布 2026 年 AI 数据库选型指南，对比 10 款方案在检索能力、serverless 扩展、Postgres 兼容性、高并发与低延迟等维度的表现。
OpenRouter：AnnouncementsAI 评分5252 OpenRouter 推出 Private Endpoints，可将微调模型和预留容量接入统一 API
OpenRouter 发布 Private Endpoints，团队可把微调模型、公共模型的专用部署或预留容量注册为私有端点，通过现有 API 和模型 slug 调用，仅组织内可见且不进入公开榜单和搜索。
Apple Machine Learning Research精选AI 评分6060 Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型
Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型，使用今天发布的新版 MLX（v0.30.1 起）与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
推荐理由：Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据，可迁移到本地大模型部署实践。
vLLM 官方博客AI 评分5555 NVIDIA Nemotron 3.5 Super VL 发布，vLLM 提供首发支持
NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL，vLLM 提供 Day 0 支持。模型基于 120B 总参数、12B 激活的 MoE 架构，结合推理、工具调用与文档、图像、视频理解，采用混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化。
Lovable BlogAI 评分5050 Lovable 推出 Deploy on Azure：应用与数据留在自有 Azure 订阅内
Lovable 发布 Deploy on Azure，目前处于 private preview，可让应用及其数据运行在企业自己的 Azure 订阅中，编辑器和 agent 仍留在 Lovable。
Databricks：Blog精选AI 评分6161 Databricks 讲解如何在 AI Runtime 上将 Qwen 3.8 27B 微调时间缩短 6 倍
Databricks 演示通过系统性性能优化，将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟，提速 6 倍。
推荐理由：原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果，读者可迁移到自己的 LLM 微调任务。
vLLM 官方博客AI 评分5353 vLLM 详解 Elastic EP 如何实现近零停机 GPU 扩缩容
vLLM 团队介绍如何通过异步准备与 NIXL EP 让 Elastic Expert Parallelism 在扩缩容时实现近零停机。在 DeepSeek V4 Pro 的 GB200 基准中，16 到 20 GPU 扩容停机从 99.62 秒降至 0.82 秒，缩回时降至 1.96 秒。
vLLM 官方博客精选AI 评分6060 vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification
vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。
推荐理由：原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据，方法可直接在 vLLM 中配置复用。
Mastra BlogAI 评分4848 Mastra 推出 Trace Queries，可筛选并修复编码智能体的慢速或失败运行
Mastra 推出 Trace Queries，支持按时间、agent/workflow ID、状态、评分和反馈等字段筛选 trace，并可通过 CLI、Mastra Client SDK 和 HTTP 可观测性端点构造查询。
vLLM 官方博客AI 评分5050 vLLM 推出基于 push 的 KV 传输，分离式推理 TTFT 最高提升 3 倍
vLLM 新增 push-based NIXL connector，将 KV 传输的协调与建立从解码关键路径移到预填充侧后台线程，在 1P1D 的 Amazon EC2 P5en + EFA 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群验证，后作为加速器无关特性贡献给 vLLM，GPU 集群同样受益。
NVIDIA：NewsroomAI 评分4444 NVIDIA 发布 cuPotential 等 CUDA-X 库，联合半导体厂商推进 AI 定义晶圆厂
NVIDIA 推出 CUDA-X 新库 cuPotential，供开发者构建模拟原子与分子相互作用的 AI 智能体，早期测试中让已 GPU 优化的流程再提速 2-3 倍。
Mastra BlogAI 评分4444 Mastra Platform 推出 Trace Imports，支持从 Langfuse 导入历史追踪
Mastra Platform 上线 trace imports 功能，可将第三方可观测性平台的历史追踪导入 Mastra，首批支持 Langfuse，导入的追踪与 Mastra 生成的追踪并列展示，便于调试、筛选和对比。
蚂蚁百灵：Developer Blog精选AI 评分6565 蚂蚁百灵开源 Ling-3.1-flash：总参数约 560B、每 Token 激活约 25B，支持 1M 上下文
蚂蚁百灵正式开源 Ling-3.1-flash，权重可在 Hugging Face 和 ModelScope 获取。模型总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文；经 MXFP4 与 block-FP8 量化后权重占用从约 534GB 降至 292GB，Hopper GPU 测试中服务部署由 8 卡降至 4 卡。
推荐理由：官方开源公告给出权重入口、Artificial Analysis 与 Design Arena 评测数据和 4 卡部署实测，便于评估自部署可行性。
Factory 研究 / 产品AI 评分4949 Factory 推出 OpenCompute：面向智能体沙箱的自托管编排器
Factory 发布 OpenCompute，一款可在用户自选运行时上自托管编排智能体沙箱的产品，现已进入 private preview。它提供按需供给与生命周期管理，集成 Environments、Automations 和 Remote Control，支持 AWS Lambda MicroVMs、Kubernetes 等基础设施。
Modal 官方工程博客精选AI 评分7171 Modal 年化收入突破 10 亿美元并完成 7.5 亿美元 D 轮融资
Modal 宣布年化收入突破 10 亿美元，并完成 7.5 亿美元 D 轮融资，投后估值 157.5 亿美元，由 Accel 领投，Kleiner Perkins 及现有投资方跟投。
推荐理由：作者作为当事方给出融资规模、估值和业务数据，并说明自研底层技术栈与新产品线，读者可据此了解 Modal 的增长轨迹。