OpenRouter 二月发布亮点:模型页面基准测试、免费模型路由与成本透明度改进
OpenRouter 在模型页面上新增了基准测试数据,推出了新的免费模型路由功能,并改进了不同提供商之间的成本透明度。
OpenRouter 在模型页面上新增了基准测试数据,推出了新的免费模型路由功能,并改进了不同提供商之间的成本透明度。
Gemini 3.1 Pro 发布,专为无法通过简单回答解决的复杂任务设计,提供更智能的深度推理与处理能力。
推荐理由:Google 发布 Gemini 3.1 Pro,强化复杂任务推理能力
SGLang 与 NVIDIA 合作,在最新 GB300 NVL72 服务器上实现相比 H200 最高 25 倍的推理性能提升。基于 Blackwell Ultra GPU 的架构升级包括 1.5 倍 FP4 算力和 2 倍 Softmax 吞吐量,结合 NVFP4 GEMM 低精度计算、计算通信重叠及与 NVIDIA Dynamo 的集成优化,DeepSeek R1 等 MoE 模型在 InferenceXv2 基准测试中达成突破性表现。同时,GB200 NVL72 平台性能在 4 个月内提升 8 倍,显著降低大模型部署的延迟与成本。
LlamaIndex 在 OmniDocBench 随机抽取 10 篇中等和 30 篇困难文档,用 GPT-5.2 的 Zero、Low、High、xHigh 四个推理档位做解析评测,并与自家的 LlamaParse Agentic 对比。
NVIDIA与SGLang团队发布DeepSeek R1-NVFP4在GB300 NVL72上的优化部署方案,针对128K/8K长上下文推理实现显著性能提升。通过PD分离、分块流水线并行、宽专家并行及多Token预测(MTP)等技术,系统在GB300上达226 TPS/GPU峰值吞吐量,较GB200提升1.53倍;相同延迟下性能领先1.4–1.6倍。MTP可再提升每用户TPS达1.87倍,128K预填充首Token延迟降至8.6秒。
inclusionAI 发布了 Ling-2.5-1T 模型。该模型参数规模达到 1 万亿,是其 Ling 系列的最新版本。此次发布延续了通过开源和开放科学来推进人工智能民主化的使命,旨在让先进 AI 技术更广泛可及。新版本预计在语言理解与生成能力上有所提升,继续为全球研究社区提供强大的基础模型支持。
Forge是MiniMax开发的内部强化学习框架,旨在解决智能体强化学习中系统吞吐量、训练稳定性和智能体灵活性之间的核心矛盾。它通过灵活的系统架构、针对长程智能体优化的算法、尊重训练分布的异步调度以及激进的训练/推理优化,实现了突破。在MiniMax M2.5模型开发期间,Forge处理了超过十万个不同的真实世界智能体框架与环境,支持达200k的上下文长度,并实现了每日百万级样本的吞吐量。结合CISPO算法与复合奖励设计,Forge提升了模型在真实任务中的能力,支撑了M2.5的开发。
GPT-5.2 提出了一种胶子振幅的新公式,该结果随后由 OpenAI 与学术合作者正式证明并验证,相关内容见预印本论文(https://openai.com/index/new-result-theoretical-physics)。
推荐理由:原文说明新公式由 preprint 提出、再经合作方证明验证,读者可以据此了解 GPT-5.2 在理论物理中的实际用法。
提出一种稳定 RLVR 训练的新方法,采用 Token 级梯度诊断技术精准定位异常梯度来源,结合逐层梯度裁剪(Layerwise Clipping)对不同网络层实施差异化约束,有效抑制训练过程中的梯度爆炸与策略震荡,提升强化学习训练的稳定性与收敛效率。
Google DeepMind 发布 Gemini 3 Deep Think 专项推理模式重大升级,面向科研与工程难题。
推荐理由:原文给出多个基准分数和开放渠道,读者可以据此评估这一推理模式在科研与工程场景的可用性。
字节跳动发布 Seedream 5.0 Lite 图像生成模型,采用多模态统一架构,跨模态理解与推理能力显著提升,Elo 评分超越前代 4.5 版本。模型首次引入实时检索增强能力,可联网获取最新知识,突破训练数据时间限制。内置丰富世界知识库,在信息可视化、视觉推理、复杂多主体生成等场景表现突出,能根据模糊指令精准修图,支持风格迁移与多步逻辑推理。目前已上线即梦 AI、火山方舟体验中心及豆包内测。
推荐理由:字节发布 Seedream 5.0 Lite,支持实时检索与深度推理的图像生成模型。
inclusionAI 开源了 Humming,这是一个专为量化推理设计的高性能、轻量级即时编译 GEMM 内核库。它支持在 FP16、BF16、FP8 等多种激活数据类型下进行 8 比特以下任意权重类型的推理,兼容多种量化策略与缩放类型,并同时支持稠密 GEMM 和混合专家 GEMM 运算。该库兼容 SM75+ 及以上的所有 NVIDIA GPU,在多种计算场景下能提供业界领先的吞吐量和效率。其依赖极简,仅需 PyTorch 和 NVCC,软件包大小仅约 100 KB,便于超轻量化部署。
推荐理由:蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
inclusionAI推出新一代旗舰即时模型Ling-2.5-1T,其总参数量达1T,活跃参数为63B,预训练语料扩展至29T tokens。该模型采用混合线性注意力架构,支持1M tokens上下文长度,并通过结合“正确性”与“过程冗余”的复合奖励机制,在相近的token效率下,其推理能力显著超越前代,接近前沿思维模型水平。经双向RL反馈和智能体验证等对齐策略优化,模型在创意写作和指令遵循任务上表现提升。它已兼容主流智能体平台,并在通用工具调用基准BFCL-V4上取得领先的开源性能。
推荐理由:蚂蚁把 1T 参数的即时模型开源了,63B 活跃参数加 1M 上下文,主打效率而非堆算力,对国内做开源推理模型的团队来说是个值得对标的基线。
inclusionAI发布了全球首个基于混合线性注意力架构的开源万亿参数思维模型Ring-2.5-1T。该模型通过高效的1:7 MLA与闪电线性注意力提升了推理速度与探索能力,并借助扩展的强化学习训练增强了深度思考和长程任务执行能力。其在IMO 2025和CMO 2025数学竞赛中均达到了金牌级别的性能。模型支持128K上下文长度,并可通过YaRN技术扩展至256K,现已于Hugging Face和ModelScope平台开源。部署方面,已支持SGLang,并提供了多GPU节点的服务器启动示例。
推荐理由:蚂蚁把万亿参数的开源 thinking model 放出来了,混合线性注意力架构是真新路线而非换皮,IMO/CMO 金牌级数学推理说明这不是纯堆参数。做开源大模型部署的团队值得认真看看它的架构选择。
Goodfire Research 发布论文,提出 RLFR(Reinforcement Learning from Feature Rewards),用模型内部激活上的轻量探针作为 RL 奖励信号来减少幻觉。
推荐理由:原文给出了用模型内部探针作为 RL 奖励降低幻觉的具体方法、成本对比和消融数据,读者可以据此评估可解释性驱动训练的可行性。
inclusionAI 发布了 Ring-2.5-1T,这是一个拥有 1 万亿参数规模的大型语言模型。该模型旨在通过开源和开放科学的方式,推动人工智能技术的进步与普及。此次发布标志着在构建超大规模、可访问的 AI 模型方面取得了重要进展,为更广泛的研究社区提供了强大的基础工具。
研究论文显示,Gemini Deep Think 在数学与科学等多个领域的影响力持续扩大,正加速科研发现进程。
研究表明,推理模型能够通过分析用户的实际反馈,识别并理解此前未知的 AI 行为对齐偏差。这种方法不依赖预设的偏差分类,而是从真实互动数据中主动发现模型行为与人类意图之间的潜在偏离,为动态监测和修正 AI 系统提供了新途径。
推荐理由:OpenAI 让推理模型从真实用户反馈中自动发现未知的对齐失败,这比红队测试更接近真实威胁面。做安全和对齐的人应该认真看,它可能改变你们的检测范式。
Anthropic 发布 Claude Opus 4.6,定位为最智能模型,专为复杂智能体任务和长周期工作设计。新模型推荐使用自适应思考模式(`thinking: {type: "adaptive"}`),弃用手动思考,且不支持预填充助手消息。
推荐理由:Opus 4.6 把长上下文和智能体推理推向实用,加上压缩 API 和数据驻留控制,这是 Anthropic 面向企业落地的完整答卷,做 agent 的开发者值得认真评估。
Anthropic Fellows Program 团队用偏差方差分解测量 Claude Sonnet 4、o3-mini、o4-mini、Qwen3 等前沿推理模型在 GPQA、MMLU、SWE-Bench 等任务上的错误不连贯性,发现推理和行动越长,失败越由不连贯而非系统性错位主导。
英国 AI Security Institute 基于 O*NET 工作活动设计 4 项实验任务,对 500 名参与者开展随机对照试验,测量 AI 对职场任务的生产率影响。
Sarvam AI 发布语音模型 Sarvam Audio,基于 30 亿参数、在英语和 22 种印度语言上从零预训练的 Sarvam 3B 扩展而来。
Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销,并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明,其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时,解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代,已支持前瞻解码等新特性。
推荐理由:蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。
Goodfire 与 Prima Mente 对表观遗传基础模型 Pleiades 做可解释性分析,发现其从血液 cfDNA 检测阿尔茨海默病时主要由 DNA 片段长度模式驱动。
美团 LongCat 团队发布 Flash-Thinking-ZigZag 模型,延续通过开源与开放科学推进人工智能民主化的技术路线。该项目致力于降低 AI 应用门槛,以开源方式使先进技术更广泛地惠及开发者社区,推动 AI 技术的普及与可持续发展。
METR 发布 SHUSHCAST 原型评估的早期结果,测试 AI 监控器能否察觉智能体在主任务掩护下偷偷完成侧任务。时间视野更高的模型在监控和隐蔽执行两方面都更强;对 GPT-5 智能体,向监控器开放推理轨迹使平均捕获率从 52% 升至 80%,对 Claude Sonnet 4.5 提升较小,可能因其推理轨迹是摘要版本。
Liquid AI 发布可在手机上完全离线运行的推理模型 LFM2.5-1.2B-Thinking,内存占用约 900 MB,已上线 Hugging Face、LEAP 和 Playground。
推荐理由:官方公布了小参数量思考模型的端侧内存、速度数据和训练配方,读者可以据此评估边缘推理方案的选型。
美团LongCat推出基于5600亿参数MoE架构大模型LongCat-Flash-Thinking-2601的重思考模式(Heavy Thinking Mode),并发布LongCat-HeavyModel-Summary模型。该模式通过并行思考与总结两阶段协同扩展推理能力:前者以高温度并行生成多路径扩展宽度,后者将精炼轨迹递归反馈形成迭代循环延伸深度。模型经额外强化学习优化总结能力,已在Longcat AI平台上线。
推荐理由:美团开源 560B 参数 MoE 推理模型,Heavy Thinking 模式支持并行多路径探索,已上线可体验
智源 FlagOpen 开源 Action-Sketcher,被 CVPR 2026 接收,通过 See-Think-Sketch-Act 循环将高层指令分解为子任务和由点、框、箭头组成的 Visual Sketch,再引导底层策略生成动作序列。
Prime Intellect 在 verifiers 中实现 RLM(递归语言模型)脚手架,让主模型通过 Python REPL 检查输入数据、调用可并行的子 LLM,并在四个环境(DeepDive、math-python、Oolong、verbatim-copy)用 GPT-5-mini、GLM 4.6、GLM 4.5 Air、INTELLECT-3 做消融。
字节跳动 Seed 团队发布形式化数学推理模型 Seed Prover 1.5,采用 Agentic 架构支持 Mathlib 搜索、Python 执行与增量引理验证,并引入 Sketch Model 将复杂证明拆解为子引理并行攻克。基于大规模 Agentic RL 训练,该模型在 16.5 小时内完成 IMO 2025 前 5 题获 35/42 分(金牌线),9 小时内解决 Putnam 2025 的 11/12 题,在 Putnam 历史集、Fate-H 和 Fate-X 上分别达 88%、80% 和 33% 通过率,刷新多项 SOTA。
Ant Group DeepXPU团队与SGLang团队合作,在SGLang推理引擎中实现了扩散大语言模型(dLLM)框架,为100B参数的LLaDA 2.0-flash提供首日支持。该方案复用现有Chunked-Prefill机制适配Block Diffusion架构,通过修改prefill adder和chunked reqs组件实现多Diffusion Blocks批处理,无需改动SGLang核心即可继承生产级推理优化,并支持用户灵活定制扩散解码算法。
OpenAI 推出用于思维链(chain-of-thought)可监控性的新框架和评测套件,包含覆盖 24 个环境的 13 项评测。结果显示监控模型内部推理比只监控输出有效得多,为 AI 系统能力增强下的可扩展控制提供了有前景的路径。
小米发布 MiMo-V2-Flash 推理模型,SGLang 提供首日支持。该模型拥有 309B 总参数和 15B 激活参数,采用滑动窗口注意力(SWA)和 3 层多级 MTP 设计,将注意力复杂度降至线性并提升解码效率。通过硬件感知配置平衡计算与内存,在 H200 上即使 64K 长上下文仍保持 150 TPS 单请求吞吐量。SGLang Spec v2 实现完全重叠 MTP 调度,隐藏 CPU 开销并减少 GPU 气泡,最大化硬件利用率。
NVIDIA 最新推理模型 Nemotron 3 Nano 正式登陆 Together AI。模型采用 Hybrid Mamba-Transformer 加稀疏 MoE 架构,每个 token 仅激活 30B 参数中的约 3B,支持 1M-token 上下文,权重、训练数据和训练配方全部开放。
SGLang 宣布首日支持 NVIDIA 开源的 Nemotron 3 Nano 模型。该模型采用 Transformer-Mamba 混合 MoE 架构,总参数 30B 但仅激活 3.6B,支持 1M 上下文长度。最新 NVFP4 版本通过 Quantization-Aware Distillation 技术在保持精度的同时,在 B200 上实现相比 FP8-H100 4 倍的吞吐量。模型提供 BF16、FP8、NVFP4 三种精度格式,并支持"思考预算"功能以减少过度推理,适用于 RTX Pro 6000、DGX Spark、H100 等 GPU。
Thinking Machines Lab 宣布 Tinker 正式开放(GA),取消候补名单,并新增四项更新:支持微调 Kimi K2 Thinking(万亿参数。
推荐理由:官方宣布 Tinker 全面开放并新增视觉输入,附上 VLM 与传统视觉基线在少样本分类下的对比数据,可作选型参考。
OpenAI 发布 GPT-5.2,称其是迄今在数学与科学上最强的模型,在 GPQA Diamond 和 FrontierMath 等基准上取得新的 SOTA 结果。原文还展示这些能力如何转化为实际研究进展,包括解决一个开放理论问题和生成可靠的数学证明。
推荐理由:原文给出了GPT-5.2在GPQA Diamond和FrontierMath上的新成绩及研究落地示例,读者可据此评估其在科研场景的可用性。
ARC Prize 发布 2025 年结果与分析,NVARC 以约 24% 的 ARC-AGI-2 私有集得分($0.20/task)夺得 Kaggle 竞赛冠军,Grand Prize 连续第二年无人认领。
推荐理由:官方复盘给出 2025 年获奖方案、成本数字与 refinement loop 框架,读者可借此理解当前 AI 推理的真实边界。
PromptArmor 披露法律 AI 工具 Vincent AI(所属公司 vLex 上月被 Clio 以 10 亿美元收购)存在提示词注入漏洞。
推荐理由:PromptArmor 原创披露 vLex 提示词注入可导致屏幕接管钓鱼,读者可借三步攻击链理解上传文档类 AI 工具的注入风险。