Inception Labs 发布扩散推理模型 Mercury 2
Inception Labs 发布 Mercury 2，称其为最快的推理语言模型，基于扩散并行细化而非自回归逐 token 解码，生成速度较此前提升超 5 倍。
推荐理由：原文给出扩散架构带来的具体速度、价格和上下文参数，读者可据此评估实时推理场景的可行性。
#部署/工程
Inception Labs：Blog精选AI 评分6868 Modal 官方工程博客AI 评分5353 Modal 发布 Directory Snapshots 公测，支持 Sandbox 目录级快照与恢复
Modal 推出 Directory Snapshots 公测，可对运行中的 Sandbox 指定目录做快照，之后独立于基础镜像挂载到新 Sandbox。这让系统依赖与应用状态可分层管理，支持用更新后的基础镜像恢复旧项目、预热 Sandbox 池后再挂载项目代码，并借助懒加载优先预载快照内容；快照在最后使用后保留 30 天。
OpenRouter：AnnouncementsAI 评分4949 OpenRouter 二月亮点发布：模型页面基准测试、免费模型路由与供应商成本透明度改进
OpenRouter 在模型页面新增基准测试数据，方便用户对比不同模型的性能；推出免费模型路由服务，可自动选择最优供应商；同时改进了成本透明度，让各供应商之间的定价差异更加清晰。
OpenRouter：AnnouncementsAI 评分5151 OpenRouter 二月发布亮点：模型页面基准测试、免费模型路由与成本透明度改进
OpenRouter 在模型页面上新增了基准测试数据，推出了新的免费模型路由功能，并改进了不同提供商之间的成本透明度。
OpenRouter：AnnouncementsAI 评分4343 February Release Spotlight
本次发布在模型页面新增了基准测试功能，并推出了一款全新的免费模型路由工具。同时，平台提升了不同服务提供商之间的成本透明度，使用户能更清晰地比较和选择。这些更新旨在帮助开发者更高效地评估模型性能、优化调用路径并管理使用成本。
LMSYS Blog SGLang 在 NVIDIA GB300 NVL72 上实现 25 倍推理性能突破
SGLang 与 NVIDIA 合作，在最新 GB300 NVL72 服务器上实现相比 H200 最高 25 倍的推理性能提升。基于 Blackwell Ultra GPU 的架构升级包括 1.5 倍 FP4 算力和 2 倍 Softmax 吞吐量，结合 NVFP4 GEMM 低精度计算、计算通信重叠及与 NVIDIA Dynamo 的集成优化，DeepSeek R1 等 MoE 模型在 InferenceXv2 基准测试中达成突破性表现。同时，GB200 NVL72 平台性能在 4 个月内提升 8 倍，显著降低大模型部署的延迟与成本。
Modal 官方工程博客精选AI 评分6464 Ramp 如何基于 Modal 构建后台编码智能体 Inspect
Ramp 基于 Modal Sandboxes 构建内部后台编码智能体 Ramp Inspect，目前启动了 Ramp 超过一半的已合并 pull request，其中超过 80% 的 Inspect 代码由其自身编写。
推荐理由：原文给出 Ramp Inspect 的架构细节、启动优化方式和采用数据，读者可借鉴后台编码智能体的落地方案。
Claude Platform：开发者版本说明精选AI 评分6060 Claude API 推出自动缓存功能，并退役 Sonnet 3.7 与 Haiku 3.5 模型
Claude Messages API 新增自动缓存功能，只需在请求体中添加 `cache_control` 字段，系统即可自动缓存最后一个可缓存块，无需手动管理断点，并可与现有块级缓存配合使用。
推荐理由：自动缓存把提示缓存从手工档变成自动档，对 Messages API 高频场景的开发者是个实在的省心更新，模型退役通知则是硬切换信号，用旧模型的该迁移了。
LMSYS Blog GB300 NVL72部署DeepSeek R1优化方案：长上下文推理性能突破
NVIDIA与SGLang团队发布DeepSeek R1-NVFP4在GB300 NVL72上的优化部署方案，针对128K/8K长上下文推理实现显著性能提升。通过PD分离、分块流水线并行、宽专家并行及多Token预测（MTP）等技术，系统在GB300上达226 TPS/GPU峰值吞吐量，较GB200提升1.53倍；相同延迟下性能领先1.4–1.6倍。MTP可再提升每用户TPS达1.87倍，128K预填充首Token延迟降至8.6秒。
LMSYS Blog SGLang-Diffusion：面向生产级视频生成的高级优化
SGLang-Diffusion发布六项生产级优化，包括Token级序列分片替代帧级方案，消除14.3%的padding开销并将通信量降至0.875倍；并行折叠技术解耦文本编码器与DiT的并行策略；并行VAE实现分布式编解码，消除高分辨率视频内存瓶颈。同时修复Cache-DiT多请求稳定性问题，优化视频保存I/O性能，并针对WanVideo融合LayerNorm内核。这些改进显著提升了视频生成框架的可扩展性、效率与稳定性。
Sierra：BlogAI 评分5151 Sierra 如何在大语言模型服务压力下保持 AI 智能体行为一致性
Sierra 构建了一套基础设施，确保在 LLM 服务提供商面临压力时，AI 智能体的行为保持稳定一致。该系统通过动态路由和冗余机制，在模型 API 出现延迟或故障时自动切换至备用模型，同时维持智能体的响应风格与决策逻辑不变。该方案已在生产环境中验证，能够在不牺牲用户体验的前提下，保障智能体服务的可靠性与行为可预测性。
MiniMax：BlogAI 评分4444 Forge：可扩展的智能体强化学习框架与算法
Forge是MiniMax开发的内部强化学习框架，旨在解决智能体强化学习中系统吞吐量、训练稳定性和智能体灵活性之间的核心矛盾。它通过灵活的系统架构、针对长程智能体优化的算法、尊重训练分布的异步调度以及激进的训练/推理优化，实现了突破。在MiniMax M2.5模型开发期间，Forge处理了超过十万个不同的真实世界智能体框架与环境，支持达200k的上下文长度，并实现了每日百万级样本的吞吐量。结合CISPO算法与复合奖励设计，Forge提升了模型在真实任务中的能力，支撑了M2.5的开发。
OpenAI：官网动态AI 评分4343 OpenAI 如何用速率限制、用量追踪与积分扩展 Codex 和 Sora 的访问
OpenAI 构建了一套结合速率限制、用量追踪与积分的实时访问系统，用于支撑 Codex 和 Sora 的持续访问。该系统旨在突破单一速率限制的局限，扩展用户对这两个产品的访问能力。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分6161 inclusionAI 发布高性能量化推理 GEMM 内核库 Humming
inclusionAI 开源了 Humming，这是一个专为量化推理设计的高性能、轻量级即时编译 GEMM 内核库。它支持在 FP16、BF16、FP8 等多种激活数据类型下进行 8 比特以下任意权重类型的推理，兼容多种量化策略与缩放类型，并同时支持稠密 GEMM 和混合专家 GEMM 运算。该库兼容 SM75+ 及以上的所有 NVIDIA GPU，在多种计算场景下能提供业界领先的吞吐量和效率。其依赖极简，仅需 PyTorch 和 NVCC，软件包大小仅约 100 KB，便于超轻量化部署。
推荐理由：蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库，支持从 INT1 到 FP8 全家桶，SM75+ 全覆盖，做推理部署的工程师值得花半小时跑一下 benchmark，看看能不能替换掉现有的 Marlin 方案。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分6565 inclusionAI发布新一代即时大模型Ling-2.5-1T
inclusionAI推出新一代旗舰即时模型Ling-2.5-1T，其总参数量达1T，活跃参数为63B，预训练语料扩展至29T tokens。该模型采用混合线性注意力架构，支持1M tokens上下文长度，并通过结合“正确性”与“过程冗余”的复合奖励机制，在相近的token效率下，其推理能力显著超越前代，接近前沿思维模型水平。经双向RL反馈和智能体验证等对齐策略优化，模型在创意写作和指令遵循任务上表现提升。它已兼容主流智能体平台，并在通用工具调用基准BFCL-V4上取得领先的开源性能。
推荐理由：蚂蚁把 1T 参数的即时模型开源了，63B 活跃参数加 1M 上下文，主打效率而非堆算力，对国内做开源推理模型的团队来说是个值得对标的基线。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分7878 inclusionAI发布全球首个开源万亿参数思维模型Ring-2.5-1T
inclusionAI发布了全球首个基于混合线性注意力架构的开源万亿参数思维模型Ring-2.5-1T。该模型通过高效的1:7 MLA与闪电线性注意力提升了推理速度与探索能力，并借助扩展的强化学习训练增强了深度思考和长程任务执行能力。其在IMO 2025和CMO 2025数学竞赛中均达到了金牌级别的性能。模型支持128K上下文长度，并可通过YaRN技术扩展至256K，现已于Hugging Face和ModelScope平台开源。部署方面，已支持SGLang，并提供了多GPU节点的服务器启动示例。
推荐理由：蚂蚁把万亿参数的开源 thinking model 放出来了，混合线性注意力架构是真新路线而非换皮，IMO/CMO 金牌级数学推理说明这不是纯堆参数。做开源大模型部署的团队值得认真看看它的架构选择。
OpenAI Developers：Blog精选AI 评分7373 OpenAI 发布长时运行智能体实践指南：Skills、shell 工具与服务端 compaction
OpenAI 基于 Codex 与内部智能体经验发布一组智能体原语实践指南，包括 Skills（对齐 Agent Skills 开放标准的可复用版本化指令）、支持安装依赖和写输出的托管 shell 工具，以及自动压缩对话历史的服务端 compaction。
推荐理由：OpenAI 以自家和 Glean 的生产经验总结了 Skills、shell 与 compaction 的组合模式，含可操作的路由与安全建议。
Modal 官方工程博客精选AI 评分7171 Modal 上线 Z.ai GLM-5 免费端点并提供自部署代码
Z.ai 发布开源权重模型 GLM-5（MIT 许可，面向长程 Agent 和系统工程），Modal 与其合作上线免费体验端点，4 月底前可用，限单并发请求。FP8 精度下模型约 700 GB，需多 GPU 部署，Modal 用 8 张 B200 单节点配合 SGLang 运行，内部实测每用户 30-75 tokens/秒。
推荐理由：Modal 官方给出 GLM-5 的部署细节、免费端点限制和前端接入配置，读者可直接照做在自己常用的 Agent 框架里试用。
LMSYS Blog 基于AMD MI300X的Qwen3及Qwen3-VL极致延迟优化实践
阿里云Qwen团队与AMD AI框架团队基于SGLang框架，在AMD MI300X GPU上实现了Qwen3-235B与Qwen3-VL-235B的极致延迟优化。通过PTPC FP8量化、TP8张量并行、MoE负载均衡及rocJPEG图像解码等技术，Qwen3-235B的TTFT和TPOT性能分别提升1.67倍与2.12倍，Qwen3-VL-235B分别提升1.62倍与1.90倍。相关优化代码已全面开源。
PromptArmor：Threat Intelligence精选AI 评分7272 PromptArmor 揭示消息应用链接预览可致 AI Agent 数据外泄，OpenClaw 默认配置受影响
PromptArmor 演示了一种通过间接提示词注入让 AI Agent 返回携带敏感数据的恶意 URL，借助 Telegram、Slack 等应用的链接预览功能在用户不点击的情况下实现数据外泄的攻击链。
推荐理由：原文拆解了链接预览导致无需点击即可数据外泄的攻击链，并给出 OpenClaw Telegram 的具体关闭配置和自测方法。
Sarvam AIAI 评分5353 Sarvam AI 发布智能体编排栈 Arya
Sarvam AI 发布智能体编排栈 Arya，定位为让前沿模型编写生产级 Agent 的基础设施。
Prime Intellect精选AI 评分6565 Prime Intellect 发布 Lab 全栈后训练平台，向所有人开放
Prime Intellect 发布 Lab 平台，将 Environments Hub 与 Hosted Training、Hosted Evaluations 整合为覆盖大规模智能体 RL、推理与评估的后训练全栈平台，即日起向所有人开放。
推荐理由：原文交代了平台构成、已开放状态和训练配置方式，读者可以判断它能否替代自建 GPU 集群做智能体后训练。
美团 LongCat：HuggingFace 新模型 美团 LongCat 发布 LongCat-Flash-Lite-FP8 模型
美团 LongCat 团队发布 LongCat-Flash-Lite-FP8 模型。该版本采用 FP8（8位浮点）精度格式，属于 Flash-Lite 轻量化系列，旨在提升推理效率并降低显存占用。目前公开信息仅包含平台默认标语，具体参数规模、基准测试成绩及技术细节有待进一步披露。
OpenAI Developers：Blog精选AI 评分6565 Alpic 总结构建 ChatGPT Apps 的 15 条经验，并开源 Skybridge 框架与 Codex Skill
Alpic 基于 Apps SDK 在三个月内开发二十多个 ChatGPT Apps，总结出 15 条经验，核心包括用户、UI 与模型三方之间的上下文不对称问题。
推荐理由：作者基于三个月开发二十多个 ChatGPT Apps 的一手经验，总结上下文流、UI 模式与 CSP 等实操教训，并开源配套框架。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分6161 高效离线推理框架 Flood：吞吐量显著领先，支持多模态与量化
Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销，并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明，其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时，解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代，已支持前瞻解码等新特性。
推荐理由：蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销，实测吞吐比 vLLM 高 1.4 到 2.4 倍，做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。
LangChain：BlogAI 评分4545 LangChain 2026 年 1 月通讯：LangSmith Agent Builder 正式 GA
LangSmith Agent Builder 正式 GA，用户可用自然语言描述需求，由它自动确定提示词、工具选择、子智能体和技能。LangSmith 新增 LLM 实验并排对比，可按输入、输出、状态或元数据过滤；Insights Agent 可自动分析 trace 检测使用模式与失败模式，现已面向自托管客户开放。
Claude Platform：开发者版本说明精选AI 评分6767 Claude API 结构化输出功能正式上线
Claude API 结构化输出功能现已对 Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Haiku 4.5 全面开放。GA 版本扩展了 schema 支持、改进了语法编译延迟，并简化了集成路径（无需 beta header）。该功能在 Amazon Bedrock 和 Microsoft Foundry 上仍为公开 beta。
推荐理由：结构化输出终于 GA，去掉了 beta 的不确定性，对依赖 JSON 模式的生产应用是个好消息，但功能上不算重大突破，只是工程完善。
LangChain：BlogAI 评分6262 LangChain 指南：如何通过可观测性调试与评估 AI 智能体
LangChain 发布指南，阐述如何利用智能体可观测性（agent observability）实现对 AI 智能体的有效评估。指南涵盖追踪（tracing）、调试推理过程以及性能洞察，帮助开发者迭代和改善智能体行为。
LMSYS Blog 单卡H200部署1TB模型：INT4 QAT RL端到端实践
SGLang RL团队联合多家机构开源INT4量化感知训练端到端方案。受Kimi K2启发，训练阶段采用伪量化，推理阶段使用W4A16（INT4权重、BF16激活）真实量化，实现与BF16全精度相当的稳定性。该方案将约1TB模型压缩至单张H200（141GB）GPU即可完成rollout，彻底消除跨节点通信瓶颈，显著提升推理效率，为大规模模型训练提供高性能、低成本的开源实践参考。
OpenAI：官网动态AI 评分4242 OpenAI 如何将 PostgreSQL 扩展至支撑 8 亿 ChatGPT 用户
OpenAI 披露其将 PostgreSQL 扩展至支撑 8 亿 ChatGPT 用户、每秒数百万次查询的架构实践，手段包括只读副本、缓存、限流和工作负载隔离。
Moonshot AI：Kimi Blog精选 Kimi 供应商验证器
Kimi 发布 K2.5 模型时开源 Kimi Vendor Verifier（KVV），用于验证第三方推理实现的准确性。针对开源模型部署渠道多样化导致的质量失控问题，KVV 提供六项关键基准测试，覆盖参数约束验证、多模态流水线、长输出压力测试、工具调用一致性及编程能力评估。项目与 vLLM/SGLang 社区合作修复根因，并提供预发布验证和实时更新的公开排行榜。完整评估在双 H20 8 卡服务器上约需 15 小时。
推荐理由：Kimi开源Vendor Verifier，系统性解决开源模型第三方部署质量验证难题
Mistral AI：NewsAI 评分4646 调试vLLM中的内存泄漏
在生产环境中，使用vLLM部署Mistral Medium 3.1模型进行Prefill/Decode分离推理时，团队发现了一个严重的内存泄漏问题。该问题表现为系统内存以每分钟400 MB的速度线性增长，最终将导致内存耗尽。泄漏仅在启用图编译且通过NIXL传输KV Cache的特定条件下出现，初步调查指向了传输层。团队从Python内存分析工具入手，但常规工具未能定位到根源，调查随后深入到底层与UCX和Infiniband相关的交互中。
LMSYS Blog Novita AI 优化 GLM4-MoE：基于 SGLang 实现 TTFT 降低 65%
Novita AI 发布基于 SGLang 的 GLM4-MoE 生产级优化方案，通过共享专家融合、Qknorm 融合与异步传输三项核心技术，在 H200 集群 TP8/FP8 配置下实现首 token 延迟（TTFT）降低 65%、每 token 输出时间（TPOT）提升 22%。针对 Agentic Coding 场景，团队提出无需额外训练草稿模型的 Suffix Decoding 技术，利用历史输出模式重复率进一步加速推理。
PromptArmor：Threat Intelligence精选AI 评分6767 PromptArmor 发布 Claude Cowork 安全部署指南，按三档风险分级给出配置方案
PromptArmor 发布 Claude Cowork 安全部署指南，梳理其威胁模型并给出三档功能与风险权衡的配置方案，从最大化功能的 Tier 1 到基本隔离外部输入的 Tier 3，并逐项说明组织级管理设置。
推荐理由：安全厂商基于自身威胁模型研究，给出 Claude Cowork 三档部署配置和逐项管理设置，企业安全团队可按风险容忍度直接落地。
LMSYS Blog SGLang-Diffusion：发布两月进展综述
SGLang-Diffusion 最新版本（lmsysorg/sglang:dev-pr-17247）性能较初始版本提升2.5倍，在NVIDIA GPU上较其他方案快5倍。新增Day-0支持Flux.2、Qwen-Image系列、Z-Image-Turbo等多款模型，完整支持LoRA格式与HTTP API，并推出ComfyUI集成插件。技术层面引入Layerwise Offload机制实现计算与权重加载重叠，支持SP/TP混合并行及SageAttention系列后端，兼容AMD、4090、5090及MUSA硬件。
LMSYS Blog SGLang 优化 Pipeline Parallelism 支持百万 Token 超长上下文
SGLang 发布面向超长上下文推理的 Pipeline Parallelism（PP）优化实现，集成 Chunked PP、异步 P2P 通信与动态分块机制。在 H20 集群 PP4 TP8 配置下，DeepSeek-V3.1 的 Prefill Throughput 较 TP8 提升 3.31 倍，较 TP32 领先 30.5%，TTFT 降低 67.9%，强扩展效率达 82.8%。该方案兼容 PD 分离与 HiCache，为万亿参数模型百万 Token 上下文推理提供高效开源路径。
LMSYS Blog SGLang EPD 分离架构：视觉语言模型的弹性编码器扩展
SGLang推出EPD（Encoder-Prefill-Decode）分离架构，将视觉编码与语言处理解耦，支持编码器独立横向扩展以替代低效的张量并行。该方案兼容现有PD分离，支持ZMQ、Mooncake等传输后端及视觉嵌入缓存。测试表明，在图像密集型场景（如多图输入）且1 QPS负载下，首token生成时间（TTFT）较同机部署降低约6–8倍；但在图像轻量场景中，网络开销可能导致性能下降。
OpenRouter：AnnouncementsAI 评分5050 OpenRouter 1月发布：优先快速LLM、探索提供商、自定义自动路由、SDK技能加载与性能大提升
OpenRouter 1月发布聚焦优先选择快速大语言模型、探索提供商、自定义自动路由、在SDK中加载技能，以及大幅性能改进。
OpenRouter：AnnouncementsAI 评分5151 OpenRouter 1月更新：快速LLM优先、自定义自动路由、SDK技能加载与性能提升
OpenRouter 发布1月更新，新增快速LLM优先级排序功能，用户可优先选择低延迟模型；支持浏览和切换不同提供商；自动路由可自定义策略；SDK新增加载技能（skills）的能力；同时带来重大性能改进。
OpenRouter：AnnouncementsAI 评分5050 January Release Spotlight
本次发布聚焦于提升大型语言模型（LLM）的速度与性能。核心更新包括优先支持快速LLM、探索更多模型提供商选项，以及允许用户自定义自动路由。软件开发工具包（SDK）现已支持加载技能，同时系统实现了显著的性能改进。这些更新旨在优化开发者的使用体验与模型运行效率。