PyTorch 用 FBTriton 内核现代化 TBE 嵌入查表
PyTorch 博客详解了用于推荐系统 Table Batched Embedding（TBE）前向与反向的 FBTriton 内核设计，其 Triton 实现在这些负载上超过了原有 CUDA 内核。
#部署/工程
PyTorch：BlogAI 评分4242 GitHub Blog精选AI 评分6767 GitHub 重建 Git 基础设施，应对智能体规模开发
GitHub 宣布重建 Git 基础设施，以支持智能体规模开发带来的高并发读写负载。2026 年 8 月 GitHub 月度 Git 事件量达 473.3 billion（一年翻倍以上），9 月智能体和开发者产生 7.38 billion commits（超一年前五倍），pushes 同比增长 4.9 倍。
推荐理由：GitHub 工程方亲述面向智能体规模开发重建 Git 基础设施的动因与设计原则，含内部基准写吞吐最高 35 倍等一手数据。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分4949 NVIDIA AICR v1.0 发布：开放、稳定、可验证的 GPU 集群配置
NVIDIA 发布 AI Cluster Runtime（AICR）v1.0，为其 CLI、REST API、Go SDK、bundle 布局和 artifact schema 建立稳定兼容契约。
Databricks：BlogAI 评分4848 IFCO 如何在 Databricks 上扩展和运维大型 dbt 项目：性能、可见性与调试
IFCO 数据平台团队与 Databricks Forward Deployed Engineering 合作，将核心语义层作业的每日运行时间缩短超过 60%，并停用了昂贵的夜间全量刷新。改造后转换逻辑仍留在 dbt 中，运行在 Databricks 上，通过 Liquid clustering、merge 增量策略和行哈希校验等配置，让每次运行只触碰实际变更的数据。
Databricks：BlogAI 评分5757 Databricks Runtime 推出 NEAREST BY join 以扩展批量向量搜索
Databricks 在 Databricks Runtime 中推出 NEAREST BY join 语法，把批量向量搜索实现为引擎原生的 top-k 排名 join，而非调用外部实时端点。
Together AI 研究与产品博客精选AI 评分6161 Together AI 推出 Together Link，一键在现有编码智能体中接入开源模型并降费超 50%
Together AI 发布 Together Link，把团队已用的编码智能体工具连接到 Together AI 上的开源模型，宣称可节省超过 50% 支出。
推荐理由：原文给出支持的工具清单、Auto 路由机制和每会话费用对比方式，读者可评估它能否直接嵌入现有编码智能体工作流。
PyTorch：BlogAI 评分4747 PyTorch 加速器集成工作组 2026 H1 进展：CRCR 跨仓库 CI 中继与测试重构
PyTorch 加速器集成工作组公布 2026 H1 进展，推出跨仓库 CI 中继（CRCR）机制，可在 pytorch/pytorch 的 PR 提交后并行触发下游仓库 CI 并回传状态至 hud.pytorch.org/crcr。
OpenRouter：AnnouncementsAI 评分5959 OpenRouter 对比四家 AI Agent 服务端代码执行沙箱工具
OpenRouter 发文比较 OpenAI、Anthropic、Google 与 OpenRouter 四家的服务端代码执行工具，介绍各自沙箱的语言、网络、持久化与计费差异，并推出处于 beta 的 openrouter:shell 与 openrouter:bash 工具，可在 Responses 和 Messages API 上为任意模型运行命令。
Modal 官方工程博客AI 评分4343 TypeSafe AI 在 Modal 上三天内将 Jev 扩展至超万亿 token
TypeSafe AI 的首个模型 Jev 在 Modal 上于发布后三天内处理超 1 万亿 token，并在 OpenRouter 1K-10K token 上下文榜单登顶，承接 15.1% 的请求。Jev 并非大语言模型，而是非自回归的 System One Model，以状态和问题为输入，并行输出带概率的结构化类型值，训练采用自研的 RLCD 方法。
Baseten 工程博客精选AI 评分6464 Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%
Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4，单张 B200）自动构建推理引擎 VibeQwen，单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。
推荐理由：作者亲测用智能体生成定制推理引擎，给出了相对 vLLM 的具体性能数据和成本，可帮助读者评估自动优化的实际可行性。
Prime Intellect精选AI 评分6161 Prime Intellect 发布推理服务平台 Prime Inference
Prime Intellect 发布 Prime Inference，提供 serverless 端点与预留容量，在多数据中心 GPU 基础设施上服务前沿开源模型，内部每天处理近一万亿 token。
推荐理由：作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径，工程细节对做推理服务的人有可参考之处。
PyTorch：BlogAI 评分4343 vLLM 集成 Helion 线性后端：Hopper GPU 上部分负载吞吐提升超 10%
vLLM 将 PyTorch 原生内核 DSL Helion 集成进线性后端，用单一 GEMM 实现覆盖 Standard GEMM、Split-K、Swap-AB 等变体，并按 shape 自动调优选择最优配置。
Baseten 工程博客AI 评分4848 Baseten 如何打造 Artificial Analysis 上最快的 GLM-5
Baseten 的 Model API 在 Artificial Analysis 上跑出 200+ TPS、约 200ms TTFT，成为该榜单上最快的 GLM-5 服务。
OpenRouter：AnnouncementsAI 评分5959 OpenRouter 实践教程：客服机器人的 cheap-first 模型分流与 FAQ 低成本处理
OpenRouter 发布教程，讲解客服机器人如何用 cheap-first 路由把常规 FAQ 交给便宜模型、仅在必要时升级到更强模型。
PyTorch：BlogAI 评分5050 Meta 用 TLX 优化 Jagged Flash Attention，在 Blackwell B200 上追平并超越 FA4
PyTorch 团队发布用 TLX（Triton 低层扩展）在 NVIDIA Blackwell B200 上优化 Jagged Flash Attention（Meta 生成式广告模型 GEM 的 attention kernel）的博客。
Cerebras：BlogAI 评分4242 Cerebras 如何从零实现解耦推理：异构解耦将吞吐提升 5 倍
Cerebras 用解耦（disaggregation）技术在同数量系统上把推理吞吐提升 5 倍，且不损失 token 生成速度。其异构解耦方案把推理中受内存或算力约束的不同阶段分配到不同芯片上，从而获得超越同构解耦的收益。这是该系列文章的第一篇，从加速器的算力与内存带宽、算术强度讲起，解释 prefill 与 decode 阶段对硬件的不同需求。
Modal 官方工程博客精选AI 评分6363 Modal 发布 VM Sandboxes、Modal Clusters 等多项 Runtime 产品更新
Modal 在其首届 Runtime 大会上发布多项产品更新。VM Sandboxes 为 Agent 提供完整 Linux 环境，已在 Linear、Legora。
推荐理由：Modal 在 Runtime 大会上发布多项基础设施更新，可帮助读者了解面向 Agent 和大规模推理训练的部署能力变化。
Modal 官方工程博客精选AI 评分6161 Modal 正式发布 VM Sandboxes：给 Agent 一台完整的 Linux 虚拟机
Modal 宣布 VM Sandboxes 正式 GA，只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM，沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力，早期客户已启动超过 2000 万个 VM。
推荐理由：Modal 官方说明 VM Sandbox 的能力边界、切换方式和 Linear 等早期客户的实际用法，对需要给 Agent 配完整机器的开发者有直接参考价值。
Databricks：BlogAI 评分4545 Databricks Lakebase Postgres 推出基于分支的恢复，100TB 数据库秒级恢复
Databricks 为 Lakebase Postgres 推出基于分支的恢复机制，将恢复时间从数小时降至秒级，即使数据库规模达 100 TB。该架构将计算与存储解耦，数据库历史已存于对象存储中可直接引用，恢复只需在指定时间戳创建分支这一元数据操作，无需拷贝数据或重放 WAL。
Ai2 / Allen Institute for AIAI 评分5858 Ai2 发布 Olmo-core 3 开源 MoE 训练框架
Ai2 发布 Olmo-core 3，这是支持大规模混合专家（MoE）训练的开源框架，已验证可扩展至万亿参数级别。在 8 张 NVIDIA B300 GPU 上，47B 参数 MoE 吞吐达 52,000 tokens/秒/GPU，约为旧 FSDP 实现的 2.7 倍；专家池从 8 扩至 128 而训练吞吐下降不足 5%。
Modal 官方工程博客精选AI 评分6565 Modal Clusters 正式发布，单行 @modal.clustered 即可启动多节点 GPU 集群
Modal 宣布 Modal Clusters 正式可用，通过 @modal.clustered 装饰器一行代码即可启动多节点集群。
推荐理由：原文解释了 gang 调度、rdma=True 和 gVisor RDMA 支持等实现细节，可帮助读者判断多节点训练推理的部署成本。
OpenRouter：Announcements精选AI 评分6767 OpenRouter 教程：如何在 CI 中用 LLM eval 门禁拦截 Pull Request
OpenRouter 发布教程，讲解如何用固定的 eval 集在 CI 中门禁 pull request，当通过率低于阈值时脚本以非零退出码阻止合并，做法与单元测试门禁一致。
推荐理由：原文给出了从脚本到 GitHub Actions 的完整可复现流程，并强调了路径过滤须放 job 层、阈值应实测等易错点。
OpenRouter：Announcements精选AI 评分6767 OpenRouter 发布 Agent 模型成本与质量权衡选型框架
OpenRouter 发布一个三步框架，用于为 Agent 任务选出以最低成本达到质量门槛的模型，而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛，再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本，最后选出以超过运行间分数波动的余量过线的最便宜模型。
推荐理由：原文给出可复用的三步选型方法，读者可以据此按任务质量门槛测量并选出成本最低的够用模型。
OpenRouter：Announcements精选AI 评分6868 OpenRouter 指南：用置信度阈值实现模型分级升级路由
OpenRouter 发布教程，讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段，低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率，应基于自己流量的分数段错误率排序设定阈值，并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。
推荐理由：原文给出按置信度分数分级路由的完整做法，读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。
Databricks：BlogAI 评分4141 Databricks IP Functions 正式 GA，为 Lakehouse 带来高性能网络分析
Databricks 的 IP Functions 已正式 GA，让 IP 地址分析成为 Lakehouse 上原生的高性能 SQL 工作负载。这套内置函数统一支持 IPv4 与 IPv6、原生解析 CIDR，并提供 ip_cidr_contains 等函数及返回 NULL 的 try_ 安全变体，无需 UDF 或正则。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分4343 NVIDIA Dynamo-Triton 部署 HSTU 生成式推荐模型，延迟最高降低 5.93 倍
NVIDIA Dynamo-Triton（原 Triton Inference Server）现已通过 recsys-examples 仓库支持端到端 HSTU 生成式推荐推理工作流，结合 PyTorch AOTI、FlexKV KV 缓存与 NV embedding cache。
Google DeepMind：Blog精选AI 评分7878 Google DeepMind 发布 Gemini 4 Argon，面向可信网络防御者先行开放
Google DeepMind 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向可信网络防御者开放，后续将逐步面向开发者、企业和消费者推出。
推荐理由：官方发布给出了定价、输出 token 上限和多项基准成绩，读者可以据此比较它在编码与企业工作流中的实际位置。
Databricks：BlogAI 评分5252 Databricks 发布 AI Function ai_decide，在治理数据上快速做出结构化决策
Databricks 推出新的 AI Function ai_decide（Beta），由 TypeSafe AI 的 Jev 决策模型驱动，对文本评估一个或多个问题，在几分之一秒内返回概率、命名标准中的选项或有序量表评分，延迟和成本低于 LLM。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分4040 NVIDIA 扩展 xio-sig 加入 cuObject，并发布 SCADA Server SDK
NVIDIA 宣布 xio-sig 在 cuFile 之外新增 cuObject，并正式开放 cuObject 客户端与服务器库，开发者可通过其 API 和 RDMA 线协议构建加速对象存储应用。同步推出的 SCADA Server SDK 让存储厂商构建响应 GPU 发起请求的 SCADA 服务器，IBM 已用集成 Storage Scale 的原型验证互操作性。
Google Developers BlogAI 评分4343 Google 如何在 TPU 上加速视频扩散模型的时空注意力
Google 在 TPU 上通过稀疏注意力内核优化加速视频扩散模型推理，将理论稀疏性转化为端到端实际加速。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分4949 用 NVIDIA NeMo Relay 追踪 Hermes Agent 的 Harness 行为
NVIDIA 发布教程，演示如何用 NeMo Relay 追踪 Hermes Agent 的 harness 行为：运行终端工具与文件加网页研究两个示例，通过 ATOF、ATIF 和 OpenTelemetry 三种格式的 trace 检查模型与工具调用、错误、重试、耗时和 token 消耗，并结合任务验证结果评估 harness 改动。
Claude：BlogAI 评分5757 Anthropic 销售团队如何用 Claude Managed Agents 重建 inbound 流程
Anthropic 销售团队基于 Claude Managed Agents（beta）搭建购买智能体，每天处理数千场对话，引导客户从咨询到完成购买。转化的销售机会是旧表单的两倍多，成交快约五天，需人工介入的对话占比下降约一半。文章介绍了部署位置、三种会话结局，以及给目标而非规则、少即是多、引入领域专家等构建经验。
NVIDIA BlogAI 评分5656 CoreWeave 宣布上线 NVIDIA Vera Rubin NVL72 并推出 CoreWeave Forge
CoreWeave 在 Fully Connected 大会宣布 NVIDIA Vera Rubin NVL72 系统搭配 Spectrum-X 102.4T 以太网正式可用，Cognition 成为首家跑生产负载的客户，其 SWE-2 推理总 token 吞吐较 GB200 NVL72 最高提升 4.8x。
PyTorch：BlogAI 评分4040 Torch Spyre 如何借 PyTorch CRCR 实现 L2 集成：智能体测试选择与声明式测试复用
Torch Spyre 基于 PyTorch 跨仓库 CI Relay（CRCR）达到 L2 集成，用智能体流水线从代码与执行证据中筛选并重新分桶测试，再用声明式 YAML 框架适配上游测试而无需打补丁。
vLLM 官方博客精选AI 评分6262 vLLM 分离式推理（Disaggregated Serving）实用指南
vLLM 官方博客发布分离式推理实用指南，讲解 vLLM v0.30.0 及以上版本中 prefill/decode 分离、无 GPU render 前端及两者组合的原理与运行方法。
推荐理由：作者来自参与开发的 IBM Research，给出 P/D 与 render 拆分的收益数据、适用场景表和可复用运行方法。
OpenRouter：Announcements精选AI 评分6565 OpenRouter 教程：如何从生产流量构建 golden 评测集并跨模型复测
OpenRouter 发布教程，讲解如何从生产流量构建 golden 评测集，作为每次部署前的回归测试。内容涵盖五步流程（抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI），建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集，用真实流量而非合成数据保留分布和失败模式。
推荐理由：原文给出从生产流量构建 golden 评测集的五步流程和跨模型复测方法，可直接照做。
OpenRouter：Announcements精选AI 评分6969 OpenRouter 教程：提示词或模型变更后如何对 AI Agent 做回归测试
OpenRouter 发布 AI Agent 回归测试教程：每次提示词、模型、工具定义或检索设置变更后，重跑锁定的用例集并对照书面行为契约检查。
推荐理由：原文给出可复用的 Agent 回归测试方法，包括锁定用例集、行为契约、具体模型 slug 固定和模型切换对比的完整做法。
Fireworks AIAI 评分4646 Fireworks 多区域部署解析：一个部署实现全球调度
Fireworks 为推理部署新增 GLOBAL 多区域选项，让单个部署和单一端点跨区域调度兼容 GPU 容量，避免把工作负载钉在单一区域造成容量上限。其路由在请求路径之外预先规划，DNS 就近选择健康网关，不增加每次请求的全局调度往返。七天生产观测中，可全球部署客户在 2 个以上服务集群的请求成功率从单区域的 99.269% 升至 99.992%。
Databricks：BlogAI 评分5959 Databricks 如何让 12,000 名员工 Day 1 用上新模型
Databricks 发文介绍其让 12,000 多名员工在新模型发布首日即可使用的方法，依托 Unity Gateway 和 UG CLI 分发实验配置，并用按用户的四类预算限制用量。
OpenAI：官网动态精选AI 评分8686 OpenAI 发布 GPT-6.1 Sol，以约五分之一价格接近 GPT-6 Astra 智能
OpenAI 发布 GPT-6.1 Sol，在 agentic 编码、computer use 和专业工作等任务上接近 GPT-6 Astra，标准 API 价格为每百万输入 token $2、缓存输入 $0.10、输出 $10，约为 Astra 五分之一。
推荐理由：官方公布了与 GPT-6 Astra 的多项基准对比和完整 API 定价，开发者可以据此评估用五分之一成本替代旗舰模型的可行性。