英伟达下调 Rubin GPU 系统 HBM 与 NVLink 带宽，网络带宽提升
根据 NVIDIA 今年 10 月文档与 6 月文档的对比，NVIDIA 下调了 Rubin GPU 系统的 HBM 与 NVLink 带宽，同时提升网络带宽。
#部署/工程
IT之家·人工智能AI 评分5050
MarkTechPostAI 评分4444 斯坦福与 UC Berkeley 推出 TokenGate：token 门控注意力让长上下文 prefill 最快提升 11.3 倍
斯坦福和 UC Berkeley 研究者发布 TokenGate，一种给现有 LLM 加上可学习 token 剪枝的模块，在 Qwen3-1.7B 上实现 1.4x 至 11.3x 的 TTFT 加速，峰值 prefill 显存降低 1.5x 至 3.4x 且无精度损失。
MarkTechPostAI 评分4646 如何在 llama.cpp 中运行 Underdog Saluki 27B：2-bit Qwen3.8-27B 工具调用实测指南
教程在 llama.cpp 中对比运行 Underdog Saluki 27B（7.9 GB 的 Qwen3.8-27B 2-bit 量化版）与 ISTA-DASLab 的 GSQ-RCO 量化版，逐张量比对 GGUF 头并做字节级比较。两者在同一 GPU 上测内存与速度，并用 BFCL 官方 checker 在相同种子的 120 个任务上按严格与宽松解析评分。
LMSYS BlogAI 评分4747 SGLang 对比 DeepInfer：DeepSeek-V4.1-Flash 推理性能实测与完整服务能力
SGLang 用 DeepInfer 官方 benchmark 在相同硬件上对比测试 DeepSeek-V4.1-Flash，4x GB300 和 4x B300 上 prefill 吞吐最高达 1.04x，64x GB300 上 decode 步长缩短 1.1% 至 7.4%。
vLLM 官方博客AI 评分4646 vLLM 在 GB300 NVL72 上规模化服务 DeepSeek-V4.1-Flash，解码吞吐与 DeepInfer 差距在 6% 以内
vLLM 用 P/D 分离与 Wide-EP 在单台 NVIDIA GB300 NVL72 上服务 DeepSeek-V4.1-Flash，在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s、单用户 P90 196 tokens/s，为早期单节点结果的 7.9 倍。
LMSYS BlogAI 评分4949 miniTE 技术报告：用原生 NVFP4 实现稳定高效的强化学习
针对原生 NVFP4 强化学习在训练后期出现的不稳定问题，LMSYS 提出算法 TRIAGE 与工程方案 miniTE。在 8×B300 上，采用 BF16 反向传播的 miniTE 完整学习器更新速度约为 BF16 的 1.33–1.37 倍，单独的固定输出服务测试吞吐约为 BF16 的 1.64 倍。
Artificial Analysis@ArtificialAnlysAI 评分6969Artificial Analysis 将 Meta 新发布的开源权重模型 Muse Spark Open（816B，激活 42B）的测试结果上线 AA-AgentPerf。
SemiAnalysis 长文 RSSAI 评分6363 SemiAnalysis 实测 Trainium3 原生 PyTorch 训练体验
SemiAnalysis 工程团队分享了在 Trainium2 和 Trainium3 上使用 TorchTitan 与 TorchNeuron 原生 PyTorch 训练栈的实测体验。
vLLM 官方博客AI 评分4545 vLLM 详解 GLM-5.3 在 16 张 H200 上的优化：PCP、DCP 与 Hybrid HiSparse
vLLM 博客详解 GLM-5.3 在 16 张 H200 上拆分 prefill 与 decode 节点的长上下文优化：PCP 按 token 而非注意力头切分 prompt，DCP 按 token 分片 KV cache，使 1M 上下文仅需每 GPU 6.7 GiB。
OpenAI：官网动态AI 评分5454 OpenAI 详解 Habitat 存储平台如何支撑超 10 亿 ChatGPT 用户
OpenAI 发布 Habitat 存储平台系列第二篇，讲解其为服务超 10 亿 ChatGPT 用户如何扩展底层 Azure Cosmos DB。平台在 40 个地理区域托管超 500 PB 数据，经历了从共享多租户到单租户容器再回到多租户默认的循环，与 Azure 团队通过热键限流、QoS 分级和新版 serverless 模式解决噪音邻居和弱分区问题。
MarkTechPostAI 评分5757 You.com 发布 Inference Router：12 个开源权重模型配 99.9% 在线率 SLA
You.com 发布 Inference Router，一个 OpenAI 兼容的托管 API，将请求路由到 12 个在线开源权重模型，提供至少 99.9% 在线率 SLA、零数据保留（ZDR）、100% 美国托管和按 token 计费的 0% 平台费。
vLLM 官方博客AI 评分6767 vLLM 实现 MiniMax-M3.1-Flash Day-0 支持
vLLM 在发布当天即支持 MiniMax-M3 系列新模型 MiniMax-M3.1-Flash，覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。
MiniMax (official)@MiniMax_AIAI 评分6363引用Huiying Li@huiying_liiYou’ve probably already used it: Space Bunny pushed 200T+ tokens before anyone knew it was MiniMax-M3.1-Flash. Now it’s open weights 🔥 Thank you @MiniMax_AI for open sourcing it! Day-0 fine-tuning in NVIDIA NeMo-AutoModel ✅ FSDP2, expert, pipeline, and context parallelism, ✅scaling up to 128 GPUs, and the NVFP4 checkpoint loads directly. https://github.com/NVIDIA-NeMo/Automodel/blob/main/docs/model-coverage/vlm/MiniMaxAI/minimax-m3-1-flash.mdx
- MiniMax (official)@MiniMax_AIAI 评分4949引用SGLang@sgl_project
Space Bunny is here! 🐰 MiniMax M3.1 Flash hits >1K tok/s, bs1 decode with SGLang, production-ready from Day 0. This integration is a joint effort by @MiniMax_AI, @NVIDIAAI, @AMD, and @radixark, and you can also run RL with Miles! -Broad hardware support: NVIDIA Blackwell and Hopper (GB300/B300/B200/H200), plus AMD Instinct MI350X and MI355X. -Agentic serving at scale: ~100K total tok/s per GPU on the AgentX coding-agent trace with 96 concurrent sessions. -Speculative decoding: Supports MiniMax's DSpark draft and a DFlash2 draft trained by @radixark; supports HiCache and multimodal input. -Ultra-low-latency inference: MegaKernels deliver 2.15× faster single-request decode.
Modal 官方工程博客AI 评分6060 Modal 发布开源 Tinker 兼容训练服务器 Spindle
Modal 发布开源、Tinker 兼容的训练服务器 Spindle，可在自己的 Modal 工作区部署，按 GPU 时间而非 token 计费，支持全参数训练与 multi-LoRA，可同时运行数百个训练任务。
Amazon ScienceAI 评分5151 Amazon 开源 TorchNeuron，让 PyTorch 代码在 AWS Trainium 芯片上运行
Amazon 发布开源后端 TorchNeuron，将 PyTorch 代码翻译为可在 AWS Trainium 系统上执行的操作，已有 PyTorch 代码只需极少或不做修改即可迁移。
MarkTechPostAI 评分4848 Liquid AI 发布 RIPL 实时推理引擎，LFM 端到端延迟低于 50 ms
Liquid AI 发布实时推理管线 RIPL，可在实时请求路径中服务 230M 至 2.6B 参数的 LFM2.5 模型，端到端生成响应低于 50 ms。按其自测数据，RIPL 的 p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍，其中 LFM2.5-1.2B 为 155.8 ms 对 4,431 ms。
Databricks：BlogAI 评分6666 Databricks 高管复盘 AI 编码成本治理，从账单失控到单位成本降 90%
Databricks 负责 AI 产品的 Patrick 在访谈中讲述公司全面采用 AI 编码智能体后成本一度指数级上涨，最终部分场景单位成本下降达 90%。
Databricks：BlogAI 评分5050 Databricks 谈 AI 成本管理新经济学：从 tokenmaxxing 转向 valuemaxxing
Databricks 高级主任工程师 Kevin Stumpf 提出，企业 AI 的衡量重心正从 tokenmaxxing 转向 valuemaxxing，即用 AI 产生的业务影响除以成本来评估投入回报。
Latent SpaceAI 评分5757 Latent Space 访谈 Modal CEO Erik Bernhardsson：AI 算力需求为何不是长方形
Latent Space 在 Modal 完成 7.5 亿美元 Series D（估值 160 亿美元、年化收入超 10 亿美元）之际，专访 CEO Erik Bernhardsson，解释支撑增长的基础设施与经济逻辑。
Cerebras：BlogAI 评分4242 Cerebras 如何用 59 片 WSE-3T 晶圆部署 3T 参数 Kimi K3
Cerebras 详解如何把约 3T 参数的 Kimi K3 拆分到多片 WSE-3T 晶圆上运行，实现 1000-2000+ tokens/s 的多万亿参数模型推理。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分6767 NVIDIA 宣布支持八节点 DGX Spark 集群，统一内存扩展至 1 TB
NVIDIA 在 GTC Berlin 宣布官方支持八节点 DGX Spark 集群，统一内存从单节点 128 GB 扩展到 1 TB，可本地运行完整 GLM 5.3 (753B) 等前沿模型，GLM 5.3 Flash 生成速度约 80 TPS。
LMSYS BlogAI 评分5050 SGLang 发布 AWS Trainium 插件 Beta
SGLang 与 AWS 合作推出基于 TorchNeuron 的 Trainium 插件 Beta，支持在 Trainium2 和 Trainium3 上进行 LLM 推理服务与 RL rollout 生成。
Prime IntellectAI 评分4242 Prime Intellect 推出 Prime Mega MoE：面向训练的高速融合 MoE kernel
Prime Intellect 在 DeepSeek 开源 Mega MoE kernel 基础上补上快速重叠的反向传播，使其可用于训练，MoE kernel 相比默认 PyTorch 实现最高快 3.11×，端到端训练相比 Prime-RL 基线最高快 1.34×（吞吐提升 34%）。
Modal 官方工程博客AI 评分4747 Sakana AI 如何在 Modal 上部署约 1 万亿参数 MoE 模型 Sakana Namazu
Modal 工程团队与 Sakana AI 合作，将约 1 万亿参数的 MoE 模型 Sakana Namazu 部署到 Modal 上，通过定制 NVFP4 量化与自训练 DFlash 草稿模型支撑其公开 API 上线。
n8n BlogAI 评分4444 自托管 LLM 与云 API 之间如何路由请求
n8n Blog 发文讲解如何在自托管 LLM 与云 API 之间做请求路由，并给出混合方案。
n8n BlogAI 评分4444 有状态 vs. 无状态：AI 智能体构建中的上下文管理
n8n 博客对比了有状态与无状态架构在 AI 智能体构建中的取舍：有状态应用保留对话历史、认证信息等跨请求状态以维持连续性，无状态应用则让每个请求独立处理，更易在实例间分发、扩展和容错。LLM 本身不会在两次推理请求间自动保留对话，智能体的记忆需由系统在模型外存储并检索状态，再注入后续请求的上下文。n8n 中可按状态存活时长选择 memory 节点或 state store。
NVIDIA BlogAI 评分4545 NVIDIA DSX 如何帮企业破解 AI 工厂电力瓶颈
NVIDIA DSX AI Factory Platform 被全球多家企业用于把电网与 AI 工厂作为一套系统统一规划、仿真和运行。GE Vernova、日立能源、施耐德电气和西门子能源等厂商基于该平台推进参考架构与数字孪生；Phaidra 集成 DSX Flex、DSX Max-Q 和 DSX Exchange 后，在相同功耗下多提供约 10% 算力。
Amp ChronicleAI 评分5555 Amp 推出自托管 orbs，企业可在自有基础设施运行智能体环境
Amp 推出自托管 orbs 功能，用户运行 amp orb provider 并提供自己的调度程序，即可在自有基础设施上实现 spawn、pause、delete 等 orb 操作。
MarkTechPostAI 评分5959 NVIDIA Nsight Python 教程：如何在 Colab T4 上剖析 GPU kernel
教程演示如何用 NVIDIA 开源的 Nsight Python 库在 Colab T4 上剖析 GPU kernel：用 nsight.annotate 标注代码、用 nsight.analyze.kernel 装饰基准函数，直接得到包含每次运行硬件指标的 pandas DataFrame。
Mastra BlogAI 评分5050 Mastra 发布托管可观测平台 Mastra Observability
Mastra 发布托管平台 Mastra Observability，直接接入 Mastra 框架项目，自动追踪 agent 运行，集中查看 traces、性能与成本指标并运行在线 scorers。
LMSYS BlogAI 评分4848 SGLang 弹性专家并行扩展：用 NIXL 在线扩容 MoE 部署
SGLang 的 Elastic EP Scaling 让 MoE 模型可在运行中按细粒度增量加入 GPU，无需部署完整副本或重启服务，max_ep_size 预留元数据与通信缓冲容量。
Ant Ling@AntLingAGIAI 评分6060引用SGLang@sgl_projectToday we launch SGLang-TorchTPU, built with @Google TPU team and Meta @PyTorch team. We’re excited to see it powering production inference at Meta! SGLang-TorchTPU is a TPU plugin for SGLang that brings: - Top open models on TPU: Muse Spark Open, GLM-5.3 Flash, Kimi K3, Ling 3.1 Flash, MiniMax H3 - SGLang’s production features for large agentic workloads - Custom MegaKernel: Muse Spark Open hits 770 tok/s decode at bs=1 on InferenceX 8K/1K SGLang-TorchTPU is available now: http://github.com/sgl-project/sglang-torchtpu
a16z：NewsAI 评分5252 a16z 合伙人撰文分析为何硬件专用化时代回归
a16z 作者 Zain Asgar 撰文回顾1990年代专用芯片为何败给通用微处理器，认为 Dennard 扩缩终结、每晶体管成本停滞和内存墙正让历史条件反转。
PyTorch：BlogAI 评分4343 PyTorch 借助 FlyDSL 加速 AMD GPU 上的算子性能
PyTorch 在 AMD MI350 系列 GPU 上通过现有算子 API 接入 FlyDSL 后端，覆盖 dense/grouped GEMM、FMHA、MXFP8/MXFP4 缩放 GEMM、RMSNorm 和 TopK，无需调用自定义 kernel。
SemiAnalysis 长文 RSSAI 评分7070 SemiAnalysis 剖析华为与 DeepSeek 共生：Ascend 950PR 实测与 DeepSeek 开源适配
SemiAnalysis 发布长文，分析 9 月 30 日 DeepSeek 为 TileLang、DeepGEMM、DeepEP、FlashMLA 等 6 个仓库加入 Ascend 支持背后的华为-DeepSeek 互补关系。
Hugging Face 社区博客AI 评分4545 如何通过专精 SLM 词表将实际应用推理成本降低 77%
基于 Qwen3-4B 的葡萄牙语作文自动评分器通过 VocabX 方法重建词表，在基座模型、数据和训练配方不变的情况下将实测推理成本降低 77%。该方法按每个 token 的成本而非词频来专精词表，使输出层从约 152,000 行缩减到约 65,000 行。原文指出生成 token 的成本约为读取 token 的 7.4 倍，词表是领域专精模型最大的成本杠杆之一。
Google Developers BlogAI 评分5151 Google Agents CLI 推出扩展系统，支持 LangChain 等任意智能体框架
Google 开发者团队宣布 Agents CLI 从 v1.5.0 起引入 Extension System，开发者可在不 fork 工具的情况下覆盖或新增命令。
GitHub BlogAI 评分5050 GitHub 如何为智能体规模的 Git 流量搭建过渡架构
GitHub 正把最繁忙的仓库迁入 Azure，通过将写入仲裁的串行化范围从整个仓库缩小到单个引用，解决跨区域约 25ms 往返带来的吞吐瓶颈。内部真实流量测试中，对不同引用的写入吞吐量提升 3–4 倍且延迟更低。目前多数仓库的五个副本已有两个位于 Azure，Azure 承担约一半 Git 流量。