#部署/工程

清华与港中文团队开源 AKV：面向 LLM 智能体的 KV cache 工程服务系统

清华大学与 CUHK 研究者开源 AKV，一个构建在 SGLang 上的 KV cache 工程服务系统，让智能体通过 Drop 和 Repos（RoPE 旋转重定位）操作丢弃或重排 KV 条目而不改写文本历史。

斯坦福与 UC Berkeley 推出 TokenGate：token 门控注意力让长上下文 prefill 最快提升 11.3 倍

斯坦福和 UC Berkeley 研究者发布 TokenGate，一种给现有 LLM 加上可学习 token 剪枝的模块，在 Qwen3-1.7B 上实现 1.4x 至 11.3x 的 TTFT 加速，峰值 prefill 显存降低 1.5x 至 3.4x 且无精度损失。

miniTE 技术报告：用原生 NVFP4 实现稳定高效的强化学习

针对原生 NVFP4 强化学习在训练后期出现的不稳定问题，LMSYS 提出算法 TRIAGE 与工程方案 miniTE。在 8×B300 上，采用 BF16 反向传播的 miniTE 完整学习器更新速度约为 BF16 的 1.33–1.37 倍，单独的固定输出服务测试吞吐约为 BF16 的 1.64 倍。

SemiAnalysis 剖析华为与 DeepSeek 共生：Ascend 950PR 实测与 DeepSeek 开源适配

SemiAnalysis 发布长文，分析 9 月 30 日 DeepSeek 为 TileLang、DeepGEMM、DeepEP、FlashMLA 等 6 个仓库加入 Ascend 支持背后的华为-DeepSeek 互补关系。

如何通过专精 SLM 词表将实际应用推理成本降低 77%

基于 Qwen3-4B 的葡萄牙语作文自动评分器通过 VocabX 方法重建词表，在基座模型、数据和训练配方不变的情况下将实测推理成本降低 77%。该方法按每个 token 的成本而非词频来专精词表，使输出层从约 152,000 行缩减到约 65,000 行。原文指出生成 token 的成本约为读取 token 的 7.4 倍，词表是领域专精模型最大的成本杠杆之一。

小红书 DoSA 将长上下文首 token 延迟无损减少近一半

小红书自研的稀疏注意力索引器加速方法 DoSA，在保持原始 Top-K 选择结果的前提下，用分数上下界提前排除不可能入选的候选。

Modal 实测 NVIDIA Vera CPU：高负载下沙箱吞吐翻倍

Modal 工程团队分享 NVIDIA Vera CPU（Arm 兼容）在 Modal Sandboxes 的基准测试，作者自建 Agentless Agent Bench（50 个 Terminal-Bench oracle 解法与验证器、剥离网络调用、并发 Docker 容器运行）对比多款 CPU。

苹果 Minions 研究：用闲置 Mac GPU 组建虚拟 GPU 云跑 AI 推理

苹果研究团队公布 Minions 系统研究，将闲置 Mac 的 Apple Silicon GPU 聚合为可动态调度的“虚拟 GPU 云”，用于大规模机器学习推理。

Artificial Analysis@ArtificialAnlys· 01:38AI 评分4242

Artificial Analysis 将 AMD MI355X 纳入 AA-AgentPerf 基准，覆盖 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro，并与 NVIDIA B200/B300 对比编码智能体推理性能。

Modal 探索用混合精度、混合加速器采样器做大规模 RL 训练

Modal 工程团队展示在 Qwen3.6-35B-A3B 的 agentic coding RL 训练中，用跨六种加速器（B200、B300、H100、H200。

NVIDIA 与普林斯顿发布 ReplaySSM：缓存 SSM 输入而非状态，加速混合模型解码

NVIDIA 与普林斯顿 Dao AI Lab 发布 ReplaySSM，将 SSM 状态表示为检查点加近期输入缓冲，减少状态内存流量、简化投机解码回滚并限制量化误差累积。

Rohan Paul@rohanpaul_ai· 12:01AI 评分4040

清华论文提出 TokenRouter，一个在 token 级进行大小模型路由的服务系统，吞吐量最高达现有方案的 64.15 倍。针对 vLLM、SGLang 等框架一次请求只跑一个模型、双模型协作时每步都等慢模型的问题，TokenRouter 让每个模型独立部署并来回传递半成品答案，同时保留 KV cache，并短暂挂起请求以凑更大批次。

Goodfire 为 Kimi K3 和 GLM 5.3 训练并部署生产级网络安全监控器

Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联，并部署到生产推理栈。

Zyphra 研究：MoE 预训练中的专家耦合（Expert Coupling）

Zyphra Research 提出利用 MoE 路由的层内与跨层相关性来优化专家放置，从而降低 all-to-all 通信开销。实验显示，在 8 台 MI300x 节点集群上，EP8 升至 EP32 时 all-to-all 占训练步时间比例从 13% 升至 45%（top-2 路由），top-6 路由下则从 24% 升至 60%。

Nvidia SoL-Pi 系统优化 agent harness，编码任务 token 用量减少近一半

Nvidia 研究人员提出 SoL-Pi 系统，用研究 agent 自动优化编码 agent 的控制层（harness），在 EdgeBench 上相比 Codex 节省 50%、相比 Claude Code 节省 54.3% 的 token，性能与原 Pi harness 大致持平。

SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级，Nebius 晋级铂金

SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级报告，覆盖 77 家 neocloud 并将市场观察范围从 209 家扩至 323 家，Nebius 与 CoreWeave 同列铂金，Google Cloud 加入 Oracle 所在的金级，Azure 降至银级，全球仅 19 家获得奖牌评级。

微软研究院：机器人推理卸载至边缘/云端可显著提升性能与续航

微软研究院发布关于物理AI机器人推理基础设施的研究。通过系统评估移动操作任务，发现将推理从机载GPU卸载至边缘或云端，能解决机载算力限制模型规模、导致响应延迟（最高383%）及精度下降的问题。实验显示，卸载推理不仅提升了任务成功率，还通过替换高功耗机载GPU为轻量硬件（如树莓派），使机器人电池寿命延长高达160%。此外，微软推出了基于Kubernetes的Physical AI Toolchain工具集，支持自动化容器化与分布式推理部署。

DeepSeek 发表 DSec 论文公开 Agent 训练沙盒基础设施，梁文锋署名

DeepSeek 发布 DSec（DeepSeek Elastic Compute）论文并署名梁文锋，公开用于 Agent 训练的沙盒基础设施技术细节。

GLM 官方复盘：Infra Agent 如何在 10 万级国产加速器集群上两周建成 GLM-5.3-Flash 推理系统

智谱（Z.ai）发布技术长文，讲解 GLM-5.3 驱动的 Infra Agent 如何在 100,000 多颗国产 AI 加速器上从零搭建 GLM-5.3-Flash 的生产级推理系统，不到两周将端到端吞吐提升约 3 倍，支撑 1M token 上下文与多模态请求。

BITCOS 布局突破三值 LLM 的 1.58-bit 存储壁垒

论文提出 BITCOS，一种由存在位图加压缩符号向量组成的三值 LLM 权重布局，按零密度 z 计成本为 2−z bits per weight。作者实测 29 个三值模型发现零权重占比最高达 51.5%，其中 26 个模型的存储比 five-trit packing 更紧凑，最稀疏模型达 1.485 bits per weight。

蚂蚁百灵 OmniTable 如何把一次数据验证从 14 天缩短到 2.5 天

蚂蚁百灵为 PB 级大模型数据治理搭建的统一宽表系统 OmniTable，将一项真实 SFT 数据治理任务的处理周期从约 14 天缩短至约 2.5 天，缩短约 82.1%，人工操作步骤从约 45 个减至约 12 个。该系统目前管理超过 35 PB 数据、逾 3050 亿条记录，相关论文获 VLDB 2026 最佳工业论文奖。

IBM Research 在 ALTK-Evolve 中引入 Consistency Analyzer 与一致性指南，将 GPT-4.1 智能体在 AppWorld 上的一致性差距从 24.4pp 降到 12.0pp

IBM Research 团队在 ALTK-Evolve 中推出 Consistency Analyzer 和一致性指南，针对智能体反复执行同一任务时结果不稳定的问题。

Rohan Paul@rohanpaul_ai· 12:42AI 评分5959

一项名为 Detokenization Leaks 的研究提出新攻击，通过观察本地部署 LLM 去分词时的 CPU 缓存活动重建生成文本，无需读取模型内存。

Rohan Paul@rohanpaul_ai· 11:40AI 评分4848

Rohan Paul 转述 PwC 关于 AI 基础设施建设的报告。报告称数据中心每 1 美元建设支出可能带动约 12 美元未来信息与通信技术设备投入；到 2050 年，硬件可能占数据中心总资本支出的 93%。

Rohan Paul@rohanpaul_ai· 11:10AI 评分4343

Scale AI 与加州大学发布论文《READY or Not: Reliable Enterprise Agent Deployment》，提出 READY 评估框架，将智能体与配套人工审查一起评估，衡量在指定可靠性目标下所需的人工监督与成本。

Rohan Paul@rohanpaul_ai· 09:40AI 评分4444

斯坦福等机构的论文 Prefix Sliding for efficient test-time scaling 提出，推理时只保留任务前缀和最近 token 的滑动窗口、丢弃中间推理 token，无需重训即可让推理提速约 3 倍。

Rohan Paul@rohanpaul_ai· 16:38AI 评分4848

Microsoft 论文《Sliding-window beats linear attention》发现，目标是降低推理内存时，免训练的滑动窗口注意力（SWA）优于多数改造的线性注意力方法，只需保留小窗口加前 4 个 sink token。

Rohan Paul@rohanpaul_ai· 21:48AI 评分5151

一项研究估算，2015 至 2024 年数据中心并未推高美国居民平均电价，数据中心容量每增加 10%，平均居民电价约下降 0.4%。原因是电网固定成本被更多售电量摊薄，且新增电厂运行成本可能更低；作者警告若电网供应不足或过度建设，该效应可能反转。2024 年数据中心用电约占美国电力 4.5%，预计 2030 年达 9-17%。

Infer-forge：围绕 SGLang 的 Harness、Loop 与 Graph 工程

Infer-forge 是一套围绕 SGLang 推理优化的内部工程系统，通过 MonoRepo、Harness、Task Loop 与 Task Graph 四种结构，将部署点约束链（模型、SLO、拓扑、运行时、加速平台）转化为可复现、可审计的工程流程。

MiniMax-H3 在 8×H200 上基准测试：无损加速 1.95×，最高 6.24×（SSIM 0.76–0.91）

SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行基准测试，其密集无损路径较 Diffusers 快 1.85–1.95×，无近似损失。

IDEA Prune：生成式语言模型预训练中的集成放大-剪枝流程

Apple 研究团队提出 IDEA Prune，将放大模型预训练纳入结构化剪枝流程，形成集成式 enlarge-and-prune 管线。该研究探讨两个关键问题：即使放大模型从不部署，预训练它是否值得；以及如何优化该流程以提升 token 效率。相比从头训练目标尺寸模型，该流程在有限推理预算下展现出更高的 token 效率。

英特尔 18A-P 工艺详解：0.5V 低电压频率跃升 30%，Diamond Rapids 与 Nova Lake 率先搭载

英特尔在 Hot Chips 2026 上公布 18A-P 制程细节，基于量产芯片测试，该制程在 0.5V 工作电压下实现 30% 频率提升，相同功耗下性能提升超 9%，相同性能下功耗降低超 18%。18A-P 通过 RibbonFET 晶体管、背面供电及新增金属层等手段优化，将率先用于 Diamond Rapids 至强和 Nova Lake 酷睿处理器，计划于 2027 年推出。

摩尔线程发布《MTT S5000 Prefill-as-a-Service 技术白皮书》，破解长上下文推理成本瓶颈

摩尔线程发布《MTT S5000 Prefill-as-a-Service 技术白皮书》，基于旗舰级AI训推一体智算卡MTT S5000构建“Prefill As a Service”新范式，面向AI Agent、代码生成、超长文档分析等长上下文推理场景。

SK 海力士披露下一代 HBM 内存先进封装技术，引入英特尔 EMIB

SK 海力士在 Hot Chips 2026 大会上披露下一代 HBM 封装路线图，计划借助英特尔 EMIB 等先进封装技术，未来进入 3D 封装阶段。其 HBM4 带宽超 2TB/s，功耗效率较 HBM3E 提升 40% 以上，容量最高 48GB，并正研发混合键合与 I-HBM 局部热点缓解技术以应对散热挑战。

Netflix 测试语言模型 GenRec，替代手工构建的推荐逻辑

Netflix 自研的基于语言模型的推荐系统 GenRec 在离线测试和约 10% 流量的四周 A/B 实验中均优于现有生产系统，排名质量离线提升约 1.6%，第二阶段训练所需标注数据减少约 40 倍。

Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%

蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解码速度从 288 tok/s 提升至 606 tok/s，平均 TPOT 从 3.33 ms 降至 1.53 ms。

突破 DeepSeek-V4-Pro 服务极限：H20 上的多场景优化方法

LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro，在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s，与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。

智能体记忆并非越多越好：八款模型评测显示剂量需按能力校准

智能体记忆并非可随意开启的功能，而是需按模型能力校准的剂量。强模型适合注入完整指南集，DeepSeek-V3.2（671B MoE）任务完成率提升+9.5个百分点；较弱模型采用精选检索效果最佳，gpt-oss-120b（117B MoE）提升+16.1pp且仅增加+5% token。该方法无需更新权重或人工标注，通过从智能体过往轨迹中蒸馏指南并在推理时注入实现。

Rohan Paul@rohanpaul_ai· 03:47AI 评分4848

Google 新论文提出 PROMPTS，用智能体将 LLM 基础设施优化从穷举搜索转为先理解瓶颈再定向搜索。其 Analyzer Agent 将瓶颈分为计算、内存或通信三类，Proposal Agent 生成三种 TPU 并行映射方案。在 8 个生产负载中，人工验证配置每次都出现在首批方案里，7/8 情况下是首个被测试的配置。

统一 Radix 缓存：为混合模型前缀缓存构建单一树结构

LMSYS 团队提出 Unified Radix Cache，用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存，各组件独立执行路径、滑动窗口和检查点复用语义。