跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。

571 条精选近 30 天 38 条共收录 2,627 条

更新

精选归档 · 第 10 页

7月16日周四第 181–200 条
  1. 公众号:小红书技术75

    小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上位置无关缓存,首 token 延迟降 3.25 倍

    小红书联合北大、上交提出 HYPIC,这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上,HYPIC 将首 token 延迟(TTFT)平均降低 3.25 倍,同 SLO 下可持续 QPS 提升 1.66 倍,任务质量与完全重算仅相差 1.71 分。该系统通过缓存段累积转移算子实现线性层常数时间状态组合,并用缝合窗口修复全注意力层跨段对齐。

    推荐理由:此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。

  2. Thinking Machines70

    今天,我们推出 Inkling。 Inkling 能高效地对文本、图像和音频模态进行推理。我们将提供完整权重。 https://thinkingmachines.ai/news/introducing-inkling/ 即日起可在 Tinker 上进行微调。在 Inkling Playground 中试用。🧵

    推荐理由:多模态推理终于有了开放权重的选项,Inkling不是最强的,但可能是最方便你上手微调的。想试试多模态Agent的,今天就能在Playground玩。

7月15日周三
  1. Together AI 研究与产品博客76

    Thinking Machines Lab 发布多模态 MoE 模型 Inkling,Together AI 提供 Day 0 推理服务

    Thinking Machines Lab 发布多模态 MoE 模型 Inkling,Together AI 于发布当日在其 Serverless 平台提供访问,支持 1M 上下文窗口和 OpenAI 兼容 API。

    推荐理由:原文来自提供推理服务的合作方,给出了 Inkling 的架构细节、参数规格和初步评测,读者可据此了解新模型的技术取向与可用入口。

7月14日周二
  1. Google AI:DEV 作者专属68

    DiffusionGemma 发布:文本扩散模型实现 4 倍加速推理

    Google 发布实验性开源模型 DiffusionGemma,采用文本扩散技术并行生成 256 token 块,推理速度最高提升 4 倍。该 26B MoE 模型仅激活 3.8B 参数,量化后适配 18GB VRAM 消费级 GPU,在单张 H100 上达 1000+ tokens/s。

    推荐理由:Google把扩散模型首次做进大语言模型,生文速度提升4倍,还开源了权重。虽然实验性质量打折,但本地实时交互的开发者终于有个新选项可以玩了。

  2. Inception Labs:Blog67

    Inception Labs 发布 Mercury 2:首个在 NVIDIA GPU 上每秒解码超 1000 token 的推理扩散语言模型

    Inception Labs 发布 Mercury 2,称其为全球首个推理扩散语言模型(dLLM),在 NVIDIA H100 上以 1000+ token/秒并行解码,300 token 的推理链可在约 300ms 内完成,适配语音对话延迟预算。

    推荐理由:官方给出扩散架构推理模型在 NVIDIA GPU 上的延迟与定价数据,语音 Agent 开发者可以据此评估是否能替换现有默认模型。

7月13日周一
  1. 公众号:腾讯混元78

    腾讯混元开源 HyOCR-1.5:1B 端到端 OCR 大模型推理提速 6.37 倍

    腾讯混元开源端到端 OCR 大模型 HyOCR-1.5,仅 1B 参数覆盖 8 种以上 text-centric 任务,在 OmniDocBench v1.6 上以 94.74 分居端到端第一。

    推荐理由:轻量端到端OCR的实用化一步,投机解码让长文档生成加速可落地,智能体数据闭环提示了用短板驱动自进化的可复用路径。

7月12日周日
  1. Sam Altman68

    OpenAI 发布 GPT-5.6 系列在医疗领域的评估结果。最小变体 GPT-5.6 Luna 在最低推理强度下即超越最高推理强度的 GPT-5.5,且成本低 25 倍;最大变体 GPT-5.6 Sol 树立新标杆。在涵盖患者端与临床端的多样化任务中,专科医生被要求以无限时间和网络访问权限撰写回答,随后由其他医生盲评。评估基于准确性、沟通、完整性、指令遵循及健康决策帮助性五个维度,共 20000 次评分。结果显示,所有 GPT-5.6 模型表现均显著优于医生,且医生发现 GPT-5.6 回答中的缺陷少于医生自己撰写的回答。

    引用Karan Singhal@thekaransinghal

    ♥️ GPT-5.6 是健康领域的一大进步,无论是在前沿性能还是在成本方面。 这些模型推动了每美元性能的前沿,将最佳的健康智能带给所有人。最小的变体 GPT-5.6 Luna,在最低推理努力下评估,其表现超过了在最高推理努力下的 GPT-5.5——尽管成本低 25 倍。最大的变体 GPT-5.6 Sol,在成本方面树立了新的高标准。 另一个特别酷的结果:医生在 GPT-5.6 的回答中发现的缺陷比医生撰写的回答更少。 我们收集了近期 OpenAI 模型仍然难以处理的各种任务,涵盖面向患者和面向临床医生的用例。我们请与专科匹配的医生在无限时间和网络访问的条件下为这些任务撰写回答。然后我们请其他医生在不知道来源的情况下并排比较回答。医生被要求从五个维度评论改进空间:准确性、沟通、完整性、指令遵循和健康决策帮助性。然后我们报告了在总共 20,000 次维度评分中,各来源回答在所有维度上被评为完美的比例。GPT-5.6 Sol 表现最强,尽管所有 GPT-5.6 模型的表现都显著优于医生。

    推荐理由:GPT-5.6 在医疗任务上被医生评价比真人医生缺陷更少, 这是AI辅助诊断的分水岭, 产品人和医疗从业者值得看具体数据。

7月11日周六
  1. Greg Brockman71

    GPT-5.6 用于健康智能,团队一直专注于这方面的改进: 整个产品线中,我们以更低成本提供更强性能:GPT-5.6 Luna 在最高推理设置下性能优于 GPT-5.5,而成本降低 25 倍。 这些进步共同提升了质量,同时让全球更多人能够使用先进模型。

    引用OpenAI@OpenAI

    GPT-5.6 是健康智能领域向前迈出的重要一步。 在整个产品线中,我们以更低的成本实现了更强的性能:GPT-5.6 Luna 在其最高推理设置下的表现优于 GPT-5.5,而成本却降低了 25 倍。 这些进步共同提升了质量,同时让全球更多人能够使用先进的模型。

    推荐理由:GPT-5.6 主打健康智能,虽然还没实测,但 25 倍的降本让高级推理不再是实验室专属,做医疗应用的可以提前评估切换成本了。

  2. Noam Brown86

    OpenAI 的 GPT-5.6 Sol Ultra 模型成功证明了存在50年之久的 Cycle Double Cover Conjecture(圈双覆盖猜想)。该模型已于昨日全面开放,在不到一小时内使用64个子智能体(subagents)完成证明。Noam Brown 强调,与之前需要特殊条件的埃尔德什单位距离问题不同,此次成果基于当前可公开获取的模型,并已公开提示词和证明过程。

    引用Ethan Knight@__eknight__

    昨天,我们让 GPT-5.6 Sol Ultra 正式全面可用。今天,我们分享它使用 64 个子代理,在不到一小时内就给出了已有 50 年历史的 Cycle Double Cover 猜想的证明。我们在下面分享提示词和证明。我们很期待看到大家用 Ultra 做出什么!

    推荐理由:GPT-5.6 Sol Ultra 靠 64 个子智能体一小时证明了半世纪未解的数学猜想,这不再是刷 benchmark——这是 AI 首次在公开模型上做出真正的科学发现。做数学和理论物理的人该认真看看 prompt 和证明。

  3. LMSYS Blog61

    DeepSeek-V4 Flash 强化学习训练登陆 AMD Instinct MI355X GPU,由 Miles 框架支持

    DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持,基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型(每 token 激活 130 亿参数)需 SGLang 进行 rollout 生成、Megatron 进行策略更新,Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战,最终在四个八 GPU 节点上完成端到端验证:超过 100 个优化器步骤中训练-rollout 对数概率差可控,在线奖励持续提升,离线 AIME-2024 基准分数同步上涨。

    推荐理由:把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。

7月10日周五
  1. 公众号:小红书技术70

    小红书发布大模型新架构 PIPO

    小红书提出 PIPO 架构,通过输入侧压缩器将两个 token 折叠为一个 latent,输出侧 MTP head 将隐藏状态展开为额外 token,实现输入长度减半、每步输出翻倍。基于 Qwen3.5-4B/9B backbone,在 AIME 2025 等基准上最高带来 +7.15 pass@4 提升。部署测评中,TTFT 加速约 1.23×,TPOT 加速约 1.86×。训练采用 SFT 和 On-Policy Distillation 两阶段,将 verifier 校验能力蒸馏进轻量 confidence head。

    推荐理由:PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。

  2. 公众号:龙猫LongCat74

    美团 LongCat-2.0 正式开源,同步开放国产卡推理代码

    美团万亿参数大模型 LongCat-2.0 正式开源,总参数 1.6T,平均激活约 48B,专为真实 Agentic Coding 任务设计。模型引入 LongCat 稀疏注意力机制与 N-gram Embedding,提升长上下文处理效率与 Token 级表示能力。LongCat-2.0 是业界首个在五万卡国产算力集群上完成推理的万亿参数模型,从模型架构、芯片适配到部署策略进行深度协同优化,支持百万上下文高效推理。开源同步提供 BF16、FP8、INT8 等多精度版本及针对国产算力极致优化的推理代码。

    推荐理由:国产算力跑万亿模型的第一份完整开源答卷,代码、芯片适配细节全公开,做国产大模型落地的直接抄作业。

  3. OpenAI:官网动态80

    OpenAI 推出 ChatGPT Work:可跨应用自主工作的 AI 智能体

    OpenAI 发布 ChatGPT Work,一个能跨应用和文件收集信息、将复杂项目分解为小步骤独立完成并持续工作数小时的 AI 智能体。它内置 Codex 技术,目前每周超 500 万用户使用 Codex,其中超 100 万用于非软件开发场景。ChatGPT Work 由今天同步推出的最新前沿模型 GPT‑5.6 驱动,具备多步骤推理和按模板生成材料的能力。该功能今天起面向 Pro、Enterprise 和 Edu 计划推出,未来几天扩展至 Plus 和 Business 计划。桌面版 ChatGPT 在所有计划(含免费版)中提供 Chat、Work 和 Codex 模式,且 Codex 应用已合并至新的桌面应用。

    推荐理由:ChatGPT Work 把代理能力真正派发给了普通用户,配合插件、定时任务和电脑控制,这是 ChatGPT 从问答工具迈向自主完成复杂工作的关键一步。但我更关心 GPT-5.6 的推理提升到底多大,案例里没给数字。

  4. OpenAI:官网动态85

    GPT-5.6 系列模型发布:Sol、Terra、Luna

    OpenAI 推出 GPT-5.6 系列,包括旗舰 Sol、平衡型 Terra 和成本最优 Luna。在 Agents' Last Exam 上,Sol 以 53.6 分超越 Claude Fable 5(自适应推理)13.1 分;中等推理时以约四分之一成本领先 11.4 分。Terra 和 Luna 以约十六分之一成本超越 Fable 5。在 Artificial Analysis Coding Agent Index 上,Sol 以 80 分创 SOTA,高于 Fable 5 的 2.8 分,使用不到一半输出 token、一半时间,成本低约三分之一。引入 Programmatic Tool Calling 减少中间数据往返,ultra 模式协调多个智能体加速复杂任务。模型配备迄今最强安全防护,经人类红队和自动化测试验证。

    推荐理由:GPT-5.6 在编码、安全、知识工作上全面领先,且 token 效率大幅优化,是我今年见过的真正能改变 agent 开发成本结构的发布。程序化工具调用和 ultra 模式值得立即试用。

7月9日周四
  1. Benedict Evans:Blog67

    Benedict Evans 谈如何理解 token 定价

    Benedict Evans 撰文分析 token 定价,认为当前市场处于供应紧张且不稳定的阶段,所有变量都在变动,未来几年会形成新的均衡。他提出目前可见的动态都指向基础模型趋向低毛利的商品化基础设施,价值由上层应用捕获,并用移动网络、半导体和光纤等行业类比说明结果并非注定,同时强调当前对模型能力上限缺乏理论理解,任何单一结论都只是猜测。

    推荐理由:作者从供给、需求、利润率和历史类比出发,讨论基础模型会否沦为低毛利商品化基础设施,提供了一个可检验的分析框架。

  2. 公众号:龙猫LongCat74

    美团正式开源 LongCat-2.0,同步开放国产卡推理代码

    美团万亿参数大模型 LongCat-2.0 正式开源,总参数 1.6T,平均激活约 48B,为真实 Agentic Coding 任务而生,并作为业界首个在五万卡国产算力集群上完成推理的万亿参数模型。

    推荐理由:LongCat-2.0 把针对国产卡的模型、芯片适配与部署优化作为完整开源栈发布,为存量算力部署万亿模型提供了可复现的协同方案。

  3. OpenAI:部署安全与系统卡62

    OpenAI 发布 GPT-5.6 系统卡:生化能力定为 High,披露部署模拟与安全评估细节

    OpenAI 发布 GPT-5.6(Sol、Luna、Terra)系统卡,将三款模型在生物化学领域均预防性定为 High 能力,未达 Critical 阈值。

    推荐理由:这份系统卡披露了 GPT-5.6 家族在生化和网络安全领域的准备度评估细节与部署模拟方法,可了解前沿安全评估如何落地。