蚂蚁 inclusionAI 发布 Awex：RL 训练-推理权重同步框架，实现秒级参数更新
蚂蚁 inclusionAI 在 GitHub 开源了 Awex，这是一个高性能的强化学习（RL）训练-推理权重同步框架。该框架旨在使 RL 工作流中从训练到推理的参数更新达到秒级，大幅缩短模型迭代延迟。Awex 的重点在于优化训练与推理之间的权重传输效率，适用于需要快速在线更新的 RL 场景。
#部署/工程
蚂蚁 inclusionAI：GitHub 新仓库AI 评分5353
LMSYS Blog AutoRound 与 SGLang 正式集成，实现低比特量化模型高效推理
AutoRound 与 SGLang 宣布合作，支持 INT2-INT8 低比特量化模型的高效推理部署。基于符号梯度优化算法，AutoRound 在 INT2 精度下准确率较主流基线提升 2.1 倍，单 GPU 量化 72B 模型仅需 37 分钟。开发者可将 GPTQ、AWQ 或 GGUF 格式的量化模型直接部署至 SGLang v0.5.4.post2+，兼容 LLM、VLM 及 MoE 架构，在最小精度损失下显著降低推理延迟。
TensorZero：实验与工程博客AI 评分6060 TensorZero 在开源 LLM 网关中推出自适应实验功能
TensorZero 在其开源 LLM 网关中内置基于 Track-and-Stop 多臂老虎机算法的自适应实验功能，采用 anytime-valid 的 GLRT 停止规则，避免传统 A/B 测试的 p-hacking 和固定样本量问题。
Inception Labs：BlogAI 评分5757 Inception Labs 升级扩散语言模型 Mercury 并完成 5000 万美元融资
Inception Labs 发布更强版本的 Mercury 扩散语言模型（dLLM），并宣布完成由 Menlo Ventures 领投的 5000 万美元融资，Andrew Ng 和 Andrej Karpathy 等参投。
LMSYS Blog SGLang Diffusion：加速视频与图像生成
SGLang 推出 Diffusion 推理引擎，将高性能 LLM 服务架构扩展至视频与图像生成领域。该系统支持 Wan、Hunyuan、Qwen-Image、Flux 等主流开源扩散模型，在 H100/H200 GPU 上实现 1.2-5.9 倍加速。通过 ComposedPipelineBase 架构抽象与统一序列并行技术，提供 OpenAI 兼容 API、CLI 及 Python 接口，并与 FastVideo 合作覆盖从训练到部署的全流程。
Sierra：BlogAI 评分4545 Sierra Agent OS 2.0 发布：从回答到记忆与行动，打通全渠道客户关系
Sierra 在 Sierra Summit 上发布 Agent OS 2.0，推出包括 Agent Studio 2.0 和 Agent Data Platform 在内的八款新产品。新系统支持单一 AI 智能体跨所有渠道工作，能从每次交互中学习并建立真实客户关系，将 AI 驱动的客户体验从承诺变为现实。
Baseten 工程博客AI 评分4343 Baseten 为牙科笔记场景定制 LLM：单 LoRA 适配器同时处理三项任务，准确率追平 gemini-2.5-pro 且快 5-6 倍
Baseten 与一家牙科笔记厂商合作，用单个 rank 256 的 LoRA 适配器让模型同时学会三项任务：将最长 25000 tokens 的问诊转录转为结构化临床笔记、实时追加新发现、以及修改润色已有笔记。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4949 inclusionAI/dFactory：轻松高效的 dLLM 微调
inclusionAI 发布了 dFactory 平台，旨在简化去中心化大语言模型的微调过程。该平台通过自动化工作流和优化的资源调度，显著降低了技术门槛与计算成本。用户无需深厚专业知识，即可利用分布式计算资源对如 LLaMA 等模型进行高效定制。关键改进包括将典型微调任务时间缩短约 40%，并支持多节点协作训练，提升了模型迭代效率。
Anthropic：Engineering精选AI 评分7474 通过代码执行提升MCP智能体效率
随着AI智能体通过模型上下文协议（MCP）连接的工具数量激增，传统预先加载所有工具定义并通过上下文传递中间结果的方法，导致处理速度变慢、成本增加。问题核心在于工具定义占用大量上下文空间，且中间结果（如完整会议记录）在多次工具调用间重复传递，额外消耗数万令牌。文章提出解决方案：将MCP服务器呈现为代码API，使智能体能按需加载工具，并在执行环境中处理数据，仅将精简结果传回模型，从而显著减少令牌消耗、提升效率并降低成本。
推荐理由：Anthropic 官方把 MCP 从「能连」推进到「连多了怎么办」，用代码执行替代直接工具调用，token 省 98.7% 这个数字不是吹的。做 Agent 工程的人如果还在暴力塞 tool definition，这篇是必读的架构升级指南。
LMSYS Blog MiniMax M2 发布：从高效注意力回退全注意力的工业部署反思
MiniMax发布新一代旗舰模型M2，采用230B总参数、10B激活参数的MoE架构，已在SGLang平台提供首日支持。团队从M1的Lightning Attention回退至Full Attention，指出高效注意力机制虽能降低理论计算复杂度，但在实际工业部署中面临多重挑战：标准基准无法暴露多跳推理等深层能力缺陷，与前缀缓存、推测解码等系统兼容性不足，且受内存带宽限制难以兑现理论效率。MiniMax认为，开放场景部署中模型质量优先于计算效率。
Cognition 模型 / Devin 博客精选AI 评分6464 Cognition 发布 SWE-1.5 编码智能体模型，经 Cerebras 推理达 950 tok/s
Cognition 发布软件工程模型 SWE-1.5，参数达数千亿级，与 Cerebras 合作以最高 950 tok/s 提供推理，速度为 Haiku 4.5 的 6 倍、Sonnet 4.5 的 13 倍。
推荐理由：原文给出速度基准与模型加推理加智能体框架协同的训练细节，读者可据此评估高速编码智能体方案的可行性。
LMSYS Blog SGLang-Jax：面向TPU的开源推理引擎
SGLang团队发布基于Jax和XLA的开源推理引擎SGLang-Jax，专为原生TPU推理优化。该引擎采用纯Jax架构，集成Ragged Paged Attention v3、EAGLE推测解码及MoE内核优化，支持连续批处理与前缀缓存。关键性能指标显示，重叠调度器将Qwen3-32B批处理间隔从12毫秒压缩至38微秒，EPMoE策略带来3-4倍延迟加速。基准测试表明，其性能匹配或超越现有TPU推理方案。
Goodfire ResearchAI 评分5656 Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII，成本较 LLM-as-judge 降低 10-500x
Goodfire 与 Rakuten 合作，用基于 Llama 3.1 8B sidecar 模型的 SAE 探针检测用户消息中的个人身份信息（PII），支持英语和日语，并已在 Rakuten AI agent 平台部署，据称为首个已知将 SAE 用于语言模型护栏的企业应用。
OpenAI Developers：BlogAI 评分5757 Dagster Labs 如何用 OpenAI Codex 加速文档与教学内容生产
Dagster Labs 撰文介绍团队如何用 OpenAI Codex 加速文档编写、讲解 PR、在教程、博客与视频脚本等媒介间转译内容。团队重构了 CONTRIBUTING.md，认为清晰的文档结构同时服务人类和 AI；还用文档作为唯一事实来源让 Codex 生成代码并跑测试，以间接衡量文档覆盖度。作者支持 mono repo，认为代码、文档和示例放在同一仓库能让 Codex 获得完整上下文。
OpenRouter：AnnouncementsAI 评分4545 OpenRouter 探讨隐式缓存是否等同于 ZDR
OpenRouter 在公告中提出问题：是否应将提供隐式缓存（implicit caching）的供应商视为“ZDR”？
OpenRouter：AnnouncementsAI 评分4747 隐式缓存是提示词保留吗？
文章探讨了AI服务提供商采用的隐式缓存技术是否应被视为零数据保留策略。隐式缓存指服务商为提高响应速度与效率，在系统内部临时存储用户提示词与生成结果，而非明确告知用户。这引发了数据隐私与透明度争议，关键问题在于这种未声明的缓存行为是否违背了用户对数据立即删除的预期。客户需评估该技术是否满足其数据保留要求，尤其在处理敏感信息时。
LMSYS Blog SGLang集成KTransformers：基于AMX优化与专家延迟的MoE混合推理加速
SGLang现已集成KTransformers后端，为DeepSeek-V3等稀疏MoE模型提供CPU/GPU混合推理加速。该技术采用Intel AMX优化内核，使单路Xeon算力达21.3 TFLOPS，较PyTorch原生实现快3.9倍；通过NUMA感知张量并行和CUDA Graph调度，双路服务器解码吞吐量提升63%，GPU内核启动开销从20%降至接近零；专家延迟机制支持跨层重排计算以重叠CPU与GPU执行，在精度变化低于0.5%的情况下使解码吞吐量再提高1.45倍。
OpenRouter：AnnouncementsAI 评分4040 Provider Variance：OpenRouter 推出 Exacto
OpenRouter 推出 Exacto，旨在回答同一个大语言模型在不同 AI 服务供应商上是否表现不同的问题。该工具帮助用户量化供应商间的性能差异，为模型部署选择提供参考。
OpenRouter：AnnouncementsAI 评分5252 OpenRouter 推出 Exacto，聚焦模型在不同提供商的性能差异
OpenRouter 发布 Exacto 功能，旨在解决同一模型在不同 AI 提供商之间的表现差异问题。该工具帮助用户识别并评估不同部署环境下的模型输出质量变化。
OpenRouter：Announcements精选AI 评分6868 Provider Variance: Introducing Exacto
同一AI模型在不同服务提供商上的性能表现可能存在显著差异。为了量化这种“提供商方差”，研究团队推出了Exacto评估平台。该平台通过标准化测试揭示，即使是相同的模型（如GPT-4、Claude或LLaMA），在不同云服务或API提供商处运行时，其输出质量、响应速度和稳定性都可能产生高达30%的波动。这一发现对企业和开发者的模型部署策略具有直接影响，强调在选择服务商时需进行针对性性能基准测试。
推荐理由：OpenRouter 推出 Exacto，直接回答了开发者最头疼的问题：同一个模型换家供应商跑出来的结果到底差多少。做 Agent 或多模型路由的产品人，这个工具能帮你少踩很多坑。
Claude Platform：开发者版本说明精选AI 评分6464 Claude Haiku 4.5 发布：最快最智能的 Haiku 模型，性能接近前沿
Anthropic 推出 Claude Haiku 4.5，定位为最快且最智能的 Haiku 系列模型，性能接近前沿水平。该模型专为实时应用、高吞吐量处理以及对推理能力要求较高的成本敏感型部署场景设计。
推荐理由：这是Haiku系列首次拥有接近前沿的性能，高速低成本让它在实时应用和高吞吐场景里很有竞争力，做成本敏感AI产品的值得认真考虑。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4848 inclusionAI/linghe
inclusionAI 开源了专为大语言模型训练设计的高性能内核库 Linghe。该库旨在优化 LLM 训练过程中的计算效率，通过底层内核创新提升训练速度并降低资源消耗。Linghe 支持当前主流的 Transformer 架构模型，为开发者和研究者提供了更高效的训练工具，有望加速 LLM 的开发与迭代进程。
LMSYS Blog SGLang与NVIDIA携手加速SemiAnalysis InferenceMAX及GB200优化
SGLang与NVIDIA针对Blackwell架构（GB200 NVL72）深度优化，在DeepSeek R1模型上实现每GPU 26k输入与13k输出tokens/秒的高吞吐。通过Prefill-Decode分离架构、大规模专家并行及FP8/NVFP4内核优化，SGLang在SemiAnalysis InferenceMAX基准测试中较Hopper代际获得4倍性能提升，并被选为该基准在NVIDIA与AMD硬件上运行DeepSeek模型的默认推理引擎。
LMSYS Blog NVIDIA DGX Spark深度评测：本地AI推理的新标杆
NVIDIA DGX Spark搭载GB10 Grace Blackwell超级芯片，在桌面工作站形态下提供1 PFLOP稀疏FP4算力与128GB统一内存。单机可运行Llama 3.1 70B、GPT-OSS 120B等大模型，双机通过200Gbps QSFP互联更可处理405B参数模型。然而受限于273GB/s内存带宽，该设备更适合小模型批处理推理与AI原型开发，而非大模型生产部署。支持SGLang和Ollama框架，为开发者提供本地AI开发新选择。
Liquid AI 模型与工程博客AI 评分5656 Liquid AI 发布端侧 MoE 模型 LFM2-8B-A1B
Liquid AI 发布 LFM2-8B-A1B，是其首个端侧 MoE 模型，总参数 8.3B、每 token 激活 1.5B，以 1.5B 级计算量换取更大模型容量。
Thinking Machines Lab：News精选AI 评分6060 Thinking Machines Lab 发布语言模型微调 API Tinker
Thinking Machines Lab 于 2025 年 10 月 1 日发布 Tinker，一个用于微调语言模型的灵活 API，官方处理分布式训练的复杂性，用户可控制算法和数据。
推荐理由：原文来自官方发布，说明了 Tinker 的微调能力、LoRA 成本方式和早期用户实例，可据此判断其对研究者的可用性。
Answer.AI 官方研发博客精选AI 评分6565 Answer.AI 开源 cachy，让 notebook 中 LLM 调用快 60 倍
Answer.AI 发布开源 Python 包 cachy（pip install pycachy），通过补丁 httpx 的 send 方法，把 Anthropic 和 OpenAI SDK 的 LLM 调用响应自动缓存到本地并在相同请求时复用，无需编写 mock。
推荐理由：原文给出了补丁原理和提速数据，读者可以直接复用这个零代码缓存方案加速自己的 LLM 测试和 notebook 工作流。
OpenRouter：Announcements精选AI 评分5858 OpenRouter 推出每月100万免费BYOK请求
OpenRouter 向每位客户每月提供100万次“Bring Your Own Key”（BYOK）请求，完全免费。
推荐理由：这个公告虽然旧了，但 OpenRouter 的 BYOK 免费额度至今仍在，对想低成本折腾模型的个人开发者来说，每月 100 万次请求比很多付费计划都香。
OpenRouter：AnnouncementsAI 评分5252 OpenRouter 推出每月 100 万次免费 BYOK 请求
OpenRouter 为每位客户每月免费提供 100 万次 BYOK（Bring Your Own Key）请求，用户可携带自有 API 密钥使用服务。
OpenRouter：Announcements精选AI 评分6060 每月 100 万次免费 BYOK 请求
所有客户每月可免费获得 100 万次“自带密钥”（BYOK）请求。这一政策将 BYOK 功能从付费服务转变为免费提供的基础配额，大幅降低了企业使用自有密钥管理数据安全的技术与成本门槛。免费额度覆盖了绝大多数中小规模企业的典型月请求量。
推荐理由：OpenRouter 给 BYOK 用户每月免 100 万次请求，对用自己 API key 跑 Agent 的开发者来说是实打实的成本减免，值得顺手薅。
Modal 官方工程博客AI 评分5454 Modal 宣布完成 8700 万美元 B 轮融资，估值达 11 亿美元
Modal 宣布完成超过 8000 万美元 B 轮融资，由 Lux Capital 领投，投后估值 11 亿美元，累计融资 1.11 亿美元。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分5858 inclusionAI/dInfer
inclusionAI团队发布了dInfer，一个专为扩散语言模型设计的高效推理框架。该框架旨在解决扩散模型在文本生成领域推理速度慢、资源消耗大的核心挑战。dInfer通过一系列底层优化技术，显著提升了推理效率，能够更快地生成文本，同时降低计算成本，为扩散模型在更广泛的实际应用场景中部署提供了关键技术支持。
推荐理由：蚂蚁把扩散语言模型的推理框架开源了，这类模型的推理效率一直是落地瓶颈，做端侧或低成本部署的团队值得看看能不能接上。
LMSYS Blog SGLang 发布首日支持 DeepSeek-V3.2：集成稀疏注意力机制
SGLang 在发布首日即支持 DeepSeek-V3.2，该模型基于 DeepSeek-V3.1-Terminus 引入 DeepSeek Sparse Attention (DSA) 机制。DSA 通过 Lightning Indexer 和 Top-k Token Selection 将注意力复杂度从 O(L²) 降至 O(Lk)，在 128K 长上下文下实现训练与推理效率大幅提升且质量损失可忽略。SGLang 实现了专用缓存与 Native Sparse Attention 后端，并提供了面向 NVIDIA、AMD MI350X/MI355X 及 NPU 的部署方案与容器镜像。
LMSYS Blog PD-Multiplexing：基于 GreenContext 解锁高有效吞吐 LLM 服务
SGLang 团队推出 PD-Multiplexing 服务范式，利用 NVIDIA GreenContext（CUDA 12.4+）的 GPU 细粒度分区能力，通过单卡内部空间共享多路复用 prefill 与 decode 阶段，消除传统 PD 分离的跨实例 KV 缓存迁移开销。该方案将 prefill 切分为小块以消除 GPU 气泡，结合离线训练的延迟预测器实现 SLO 感知调度，动态分配 SM 资源以适应负载变化，从而在满足 TTFT 与 ITL 延迟 SLO 的同时显著提升模型即服务（MaaS）的 goodput。
LMSYS Blog 蚂蚁集团联合SGLang：H20-96G部署DeepSeek-R1最佳实践
蚂蚁集团联合SGLang提出H20-96G部署DeepSeek-R1的工业级方案。针对H20高内存带宽、低计算吞吐特性，采用硬件感知策略：单节点TP-8处理prefill，小规模EP-16处理decode。结合FlashMLA-FP8、DeepGEMM swapAB内核优化与异步Expert Affinity负载均衡技术，在4096 token序列上实现单节点16.5k输入/5.7k输出token/秒的吞吐，达H20平台SOTA性能。
xAI：News xAI 联合 GSA OneGov 扩展政府服务
xAI 与 GSA 合作，通过 OneGov 计划向所有联邦政府部门开放 Grok 4 等前沿模型，18个月订阅费仅 0.42 美元，并派遣专门的 Grok 工程师团队协助政府机构实施 AI 工具，支持特朗普政府 AI 行动计划。
LMSYS Blog GB200 NVL72部署DeepSeek V3/R1（二）：PD分离与大规模EP实现3.8倍Prefill、4.8倍Decode吞吐
SGLang团队基于GB200 NVL72优化DeepSeek V3/R1推理，采用FP8 Attention、NVFP4 MoE、大规模专家并行及PD分离等技术。2000 token输入下，单卡Prefill达26,156 tokens/s，Decode达13,386 tokens/s，较H100提升3.8倍和4.8倍。BF16/FP8配置下仍达18,471/9,087 tokens/s。FP8与NVFP4低精度内核分别带来1.8倍和1.9倍加速且精度损失可忽略。
Sam Altman：Blog精选 充裕的智能
计划打造每周可新增1吉瓦算力的AI基础设施工厂，通过芯片、电力到机器人的全栈创新，支撑治愈癌症、全球个性化教育等宏大应用。项目将主要落地美国，未来数月公布合作伙伴，年底披露融资方案。
推荐理由：Sam Altman阐述OpenAI基础设施扩张愿景，计划每周新建1吉瓦算力
Modal 官方工程博客AI 评分5151 Modal 发布 Modal Vibe 演示平台，可扩展至每月百万级会话
Modal 基于 Modal Sandboxes 构建并开源了 Modal Vibe，一个可弹性扩展的 vibe coding 平台，五分钟内可从 0 扩展到 1000 个 AI 编码应用。
LMSYS Blog SGLang 实现确定性推理与可复现 RL 训练
SGLang 基于 Thinking Machines Lab 的 batch-invariant 算子实现全确定性推理，解决动态批处理导致的输出差异问题，兼容 chunked prefill、CUDA graphs 及非贪婪采样。该方案将性能开销从 61.5% 降至 34.35%，配合 CUDA graphs 可实现 2.8 倍加速。SGLang 与 slime 合作进一步实现 100% 可复现的 RL 训练，在 Qwen3-8B 验证中两次独立训练产生完全一致的曲线，为科学实验提供可靠保障。