跳到正文
2月23日周一
2月20日周五
  1. LMSYS Blog

    SGLang 在 NVIDIA GB300 NVL72 上实现 25 倍推理性能突破

    SGLang 与 NVIDIA 合作,在最新 GB300 NVL72 服务器上实现相比 H200 最高 25 倍的推理性能提升。基于 Blackwell Ultra GPU 的架构升级包括 1.5 倍 FP4 算力和 2 倍 Softmax 吞吐量,结合 NVFP4 GEMM 低精度计算、计算通信重叠及与 NVIDIA Dynamo 的集成优化,DeepSeek R1 等 MoE 模型在 InferenceXv2 基准测试中达成突破性表现。同时,GB200 NVL72 平台性能在 4 个月内提升 8 倍,显著降低大模型部署的延迟与成本。

2月19日周四
  1. LMSYS Blog

    GB300 NVL72部署DeepSeek R1优化方案:长上下文推理性能突破

    NVIDIA与SGLang团队发布DeepSeek R1-NVFP4在GB300 NVL72上的优化部署方案,针对128K/8K长上下文推理实现显著性能提升。通过PD分离、分块流水线并行、宽专家并行及多Token预测(MTP)等技术,系统在GB300上达226 TPS/GPU峰值吞吐量,较GB200提升1.53倍;相同延迟下性能领先1.4–1.6倍。MTP可再提升每用户TPS达1.87倍,128K预填充首Token延迟降至8.6秒。

2月14日周六
  1. 蚂蚁 inclusionAI:HuggingFace 新模型44

    inclusionAI/Ling-2.5-1T

    inclusionAI 发布了 Ling-2.5-1T 模型。该模型参数规模达到 1 万亿,是其 Ling 系列的最新版本。此次发布延续了通过开源和开放科学来推进人工智能民主化的使命,旨在让先进 AI 技术更广泛可及。新版本预计在语言理解与生成能力上有所提升,继续为全球研究社区提供强大的基础模型支持。

  2. MiniMax:Blog44

    Forge:可扩展的智能体强化学习框架与算法

    Forge是MiniMax开发的内部强化学习框架,旨在解决智能体强化学习中系统吞吐量、训练稳定性和智能体灵活性之间的核心矛盾。它通过灵活的系统架构、针对长程智能体优化的算法、尊重训练分布的异步调度以及激进的训练/推理优化,实现了突破。在MiniMax M2.5模型开发期间,Forge处理了超过十万个不同的真实世界智能体框架与环境,支持达200k的上下文长度,并实现了每日百万级样本的吞吐量。结合CISPO算法与复合奖励设计,Forge提升了模型在真实任务中的能力,支撑了M2.5的开发。

2月13日周五
  1. OpenAI:官网动态69

    GPT-5.2 在理论物理中推导出新结果

    GPT-5.2 提出了一种胶子振幅的新公式,该结果随后由 OpenAI 与学术合作者正式证明并验证,相关内容见预印本论文(https://openai.com/index/new-result-theoretical-physics)。

    推荐理由:原文说明新公式由 preprint 提出、再经合作方证明验证,读者可以据此了解 GPT-5.2 在理论物理中的实际用法。

  2. 字节 Seed:Research Feed

    "思考"更深,生成更准|Seedream 5.0 Lite 发布

    字节跳动发布 Seedream 5.0 Lite 图像生成模型,采用多模态统一架构,跨模态理解与推理能力显著提升,Elo 评分超越前代 4.5 版本。模型首次引入实时检索增强能力,可联网获取最新知识,突破训练数据时间限制。内置丰富世界知识库,在信息可视化、视觉推理、复杂多主体生成等场景表现突出,能根据模糊指令精准修图,支持风格迁移与多步逻辑推理。目前已上线即梦 AI、火山方舟体验中心及豆包内测。

    推荐理由:字节发布 Seedream 5.0 Lite,支持实时检索与深度推理的图像生成模型。

2月11日周三
  1. 蚂蚁 inclusionAI:GitHub 新仓库61

    inclusionAI 发布高性能量化推理 GEMM 内核库 Humming

    inclusionAI 开源了 Humming,这是一个专为量化推理设计的高性能、轻量级即时编译 GEMM 内核库。它支持在 FP16、BF16、FP8 等多种激活数据类型下进行 8 比特以下任意权重类型的推理,兼容多种量化策略与缩放类型,并同时支持稠密 GEMM 和混合专家 GEMM 运算。该库兼容 SM75+ 及以上的所有 NVIDIA GPU,在多种计算场景下能提供业界领先的吞吐量和效率。其依赖极简,仅需 PyTorch 和 NVCC,软件包大小仅约 100 KB,便于超轻量化部署。

    推荐理由:蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

  2. 蚂蚁 inclusionAI:GitHub 新仓库65

    inclusionAI发布新一代即时大模型Ling-2.5-1T

    inclusionAI推出新一代旗舰即时模型Ling-2.5-1T,其总参数量达1T,活跃参数为63B,预训练语料扩展至29T tokens。该模型采用混合线性注意力架构,支持1M tokens上下文长度,并通过结合“正确性”与“过程冗余”的复合奖励机制,在相近的token效率下,其推理能力显著超越前代,接近前沿思维模型水平。经双向RL反馈和智能体验证等对齐策略优化,模型在创意写作和指令遵循任务上表现提升。它已兼容主流智能体平台,并在通用工具调用基准BFCL-V4上取得领先的开源性能。

    推荐理由:蚂蚁把 1T 参数的即时模型开源了,63B 活跃参数加 1M 上下文,主打效率而非堆算力,对国内做开源推理模型的团队来说是个值得对标的基线。

  3. 蚂蚁 inclusionAI:GitHub 新仓库78

    inclusionAI发布全球首个开源万亿参数思维模型Ring-2.5-1T

    inclusionAI发布了全球首个基于混合线性注意力架构的开源万亿参数思维模型Ring-2.5-1T。该模型通过高效的1:7 MLA与闪电线性注意力提升了推理速度与探索能力,并借助扩展的强化学习训练增强了深度思考和长程任务执行能力。其在IMO 2025和CMO 2025数学竞赛中均达到了金牌级别的性能。模型支持128K上下文长度,并可通过YaRN技术扩展至256K,现已于Hugging Face和ModelScope平台开源。部署方面,已支持SGLang,并提供了多GPU节点的服务器启动示例。

    推荐理由:蚂蚁把万亿参数的开源 thinking model 放出来了,混合线性注意力架构是真新路线而非换皮,IMO/CMO 金牌级数学推理说明这不是纯堆参数。做开源大模型部署的团队值得认真看看它的架构选择。

  4. Goodfire Research63

    Goodfire 发布 RLFR 方法:用内部特征探针作奖励将 Gemma-3-12B-IT 幻觉率降低 58%

    Goodfire Research 发布论文,提出 RLFR(Reinforcement Learning from Feature Rewards),用模型内部激活上的轻量探针作为 RL 奖励信号来减少幻觉。

    推荐理由:原文给出了用模型内部探针作为 RL 奖励降低幻觉的具体方法、成本对比和消融数据,读者可以据此评估可解释性驱动训练的可行性。

2月10日周二
  1. 蚂蚁 inclusionAI:HuggingFace 新模型42

    inclusionAI/Ring-2.5-1T

    inclusionAI 发布了 Ring-2.5-1T,这是一个拥有 1 万亿参数规模的大型语言模型。该模型旨在通过开源和开放科学的方式,推动人工智能技术的进步与普及。此次发布标志着在构建超大规模、可访问的 AI 模型方面取得了重要进展,为更广泛的研究社区提供了强大的基础工具。

2月7日周六
  1. OpenAI:Alignment 研究博客71

    在真实世界使用中发现未知的 AI 对齐偏差

    研究表明,推理模型能够通过分析用户的实际反馈,识别并理解此前未知的 AI 行为对齐偏差。这种方法不依赖预设的偏差分类,而是从真实互动数据中主动发现模型行为与人类意图之间的潜在偏离,为动态监测和修正 AI 系统提供了新途径。

    推荐理由:OpenAI 让推理模型从真实用户反馈中自动发现未知的对齐失败,这比红队测试更接近真实威胁面。做安全和对齐的人应该认真看,它可能改变你们的检测范式。

2月5日周四
  1. Claude Platform:开发者版本说明72

    Claude Opus 4.6 发布:最智能模型,专为复杂智能体任务设计

    Anthropic 发布 Claude Opus 4.6,定位为最智能模型,专为复杂智能体任务和长周期工作设计。新模型推荐使用自适应思考模式(`thinking: {type: "adaptive"}`),弃用手动思考,且不支持预填充助手消息。

    推荐理由:Opus 4.6 把长上下文和智能体推理推向实用,加上压缩 API 和数据驻留控制,这是 Anthropic 面向企业落地的完整答卷,做 agent 的开发者值得认真评估。

2月3日周二
2月2日周一
1月30日周五
  1. 蚂蚁 inclusionAI:GitHub 新仓库61

    高效离线推理框架 Flood:吞吐量显著领先,支持多模态与量化

    Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销,并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明,其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时,解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代,已支持前瞻解码等新特性。

    推荐理由:蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

1月28日周三
1月23日周五
  1. 美团 LongCat:HuggingFace 新模型

    美团 LongCat 发布 Flash-Thinking-ZigZag 模型

    美团 LongCat 团队发布 Flash-Thinking-ZigZag 模型,延续通过开源与开放科学推进人工智能民主化的技术路线。该项目致力于降低 AI 应用门槛,以开源方式使先进技术更广泛地惠及开发者社区,推动 AI 技术的普及与可持续发展。

1月22日周四
  1. METR:Research58

    METR 发布 SHUSHCAST 原型评估的早期可监控性研究

    METR 发布 SHUSHCAST 原型评估的早期结果,测试 AI 监控器能否察觉智能体在主任务掩护下偷偷完成侧任务。时间视野更高的模型在监控和隐蔽执行两方面都更强;对 GPT-5 智能体,向监控器开放推理轨迹使平均捕获率从 52% 升至 80%,对 Claude Sonnet 4.5 提升较小,可能因其推理轨迹是摘要版本。

1月20日周二
1月14日周三
  1. 美团 LongCat:HuggingFace 新模型

    美团LongCat发布重思考模式总结模型

    美团LongCat推出基于5600亿参数MoE架构大模型LongCat-Flash-Thinking-2601的重思考模式(Heavy Thinking Mode),并发布LongCat-HeavyModel-Summary模型。该模式通过并行思考与总结两阶段协同扩展推理能力:前者以高温度并行生成多路径扩展宽度,后者将精炼轨迹递归反馈形成迭代循环延伸深度。模型经额外强化学习优化总结能力,已在Longcat AI平台上线。

    推荐理由:美团开源 560B 参数 MoE 推理模型,Heavy Thinking 模式支持并行多路径探索,已上线可体验

1月4日周日
1月1日周四
2025年12月24日周三
  1. 字节 Seed:Research Feed

    Seed Prover 1.5:全新 Agentic 架构,更强数学推理表现

    字节跳动 Seed 团队发布形式化数学推理模型 Seed Prover 1.5,采用 Agentic 架构支持 Mathlib 搜索、Python 执行与增量引理验证,并引入 Sketch Model 将复杂证明拆解为子引理并行攻克。基于大规模 Agentic RL 训练,该模型在 16.5 小时内完成 IMO 2025 前 5 题获 35/42 分(金牌线),9 小时内解决 Putnam 2025 的 11/12 题,在 Putnam 历史集、Fate-H 和 Fate-X 上分别达 88%、80% 和 33% 通过率,刷新多项 SOTA。

2025年12月19日周五
  1. LMSYS Blog

    SGLang实现扩散LLM框架:支持LLaDA 2.0-flash

    Ant Group DeepXPU团队与SGLang团队合作,在SGLang推理引擎中实现了扩散大语言模型(dLLM)框架,为100B参数的LLaDA 2.0-flash提供首日支持。该方案复用现有Chunked-Prefill机制适配Block Diffusion架构,通过修改prefill adder和chunked reqs组件实现多Diffusion Blocks批处理,无需改动SGLang核心即可继承生产级推理优化,并支持用户灵活定制扩散解码算法。

2025年12月18日周四
2025年12月16日周二
  1. LMSYS Blog

    SGLang 首日支持 MiMo-V2-Flash 模型

    小米发布 MiMo-V2-Flash 推理模型,SGLang 提供首日支持。该模型拥有 309B 总参数和 15B 激活参数,采用滑动窗口注意力(SWA)和 3 层多级 MTP 设计,将注意力复杂度降至线性并提升解码效率。通过硬件感知配置平衡计算与内存,在 H200 上即使 64K 长上下文仍保持 150 TPS 单请求吞吐量。SGLang Spec v2 实现完全重叠 MTP 调度,隐藏 CPU 开销并减少 GPU 气泡,最大化硬件利用率。

2025年12月15日周一
  1. LMSYS Blog

    SGLang 首日支持高效开源 Nemotron 3 Nano 混合 MoE 模型,NVFP4 精度版本采用 Quantization-Aware Distillation 技术在 B200 上实现 4 倍于 FP8-H100 的吞吐量

    SGLang 宣布首日支持 NVIDIA 开源的 Nemotron 3 Nano 模型。该模型采用 Transformer-Mamba 混合 MoE 架构,总参数 30B 但仅激活 3.6B,支持 1M 上下文长度。最新 NVFP4 版本通过 Quantization-Aware Distillation 技术在保持精度的同时,在 B200 上实现相比 FP8-H100 4 倍的吞吐量。模型提供 BF16、FP8、NVFP4 三种精度格式,并支持"思考预算"功能以减少过度推理,适用于 RTX Pro 6000、DGX Spark、H100 等 GPU。

2025年12月12日周五
2025年12月11日周四
  1. OpenAI:官网动态73

    OpenAI 发布 GPT-5.2,主打科学与数学能力

    OpenAI 发布 GPT-5.2,称其是迄今在数学与科学上最强的模型,在 GPQA Diamond 和 FrontierMath 等基准上取得新的 SOTA 结果。原文还展示这些能力如何转化为实际研究进展,包括解决一个开放理论问题和生成可靠的数学证明。

    推荐理由:原文给出了GPT-5.2在GPQA Diamond和FrontierMath上的新成绩及研究落地示例,读者可据此评估其在科研场景的可用性。

2025年12月5日周五
2025年12月4日周四