技术方向
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
571 条精选近 30 天 38 条共收录 2,627 条
OpenAI 今日推出 GPT‑Live，基于全双工架构实现同时听与说，支持自然打断与实时回馈。该模型每秒多次判断是否说话、倾听、打断或调用工具，并将搜索、推理等复杂任务委托给后台 GPT‑5.5，保持对话流畅。即日起向全球 ChatGPT 用户提供 GPT‑Live‑1 和 GPT‑Live‑1 mini 两个版本。人类评估显示，在 5‑10 分钟对话中，GPT‑Live‑1 系列在自然度、轮流、打断等方面显著优于 Advanced Voice Mode；在 GPQA、BrowseComp 和 τ³‑Voice Telecom 基准测试中也表现更强。未来将开放 API。
推荐理由：GPT‑Live 不是简单的语音版本升级，全双工架构让 AI 终于能同时听和说，加上后台调用 GPT‑5.5，对话体验跨了一大步，做语音应用的产品人该重新思考交互流程了。
Hugging Face 宣布 transformers vLLM 后端现与手写原生 vLLM 实现速度相当甚至更快。模型作者无需移植代码，即可自动利用 transformers 获得超快推理。测试使用 Qwen3-4B（单 GPU）、Qwen3-32B（张量并行）和 Qwen3-235B-A22B-FP8 MoE（数据+专家并行）三种配置，吞吐量均达到或超过原生。该后端通过 torch.fx 静态分析图、AST 重写代码实现动态层融合，支持张量/管道/专家并行及 torch.compile。用户仅需添加 `--model-impl transformers` 标志。目前不支持线性注意力模型但即将支持。
推荐理由：用 transformers 写的模型，现在不用改一行代码就能在 vLLM 里跑到手写实现的水平，模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法，但生态意义不小。
OpenRouter@OpenRouter精选AI 评分6868推荐理由：OpenRouter 的 grok-latest 别名让开发者零代码升级到 Grok 4.5，虽然是个小功能，但省掉了版本切换的繁琐，用 Grok 做产品的团队现在就该把端点切过去。
OpenAI GPT-5.6 模型于周四发布。该模型6月底亮相，最初因美国政府限制仅向部分合作伙伴提供，商务部在AI标准与创新中心完成额外测试后批准公开。OpenAI公开批评延迟，称将最佳工具与开发者及企业隔离。新模型Sol在TerminalBench 2.1得分88.8%，Sol Ultra达91.9%，高于Anthropic的Claude Mythos 5（88%）。在网络安全任务中，Sol与Mythos 5水平相当但仅用三分之一的token。Sol定价$5/$30每百万输入/输出token，Anthropic的Fable 5为$10/$50。
推荐理由：被美国政府按了暂停键的 GPT-5.6 终于要公开了，基准测试小胜 Claude Mythos 5 且 token 消耗仅三分之一，价格也比 Anthropic 便宜近半，开发者可以准备预算了。
蚂蚁集团副总裁周俊在AICon演讲指出，万亿参数模型每运行15分钟算力成本约等于一辆特斯拉，效率是智能体时代最需解决的问题。团队提出从“更多Token”转向“更高Token密度”策略，采用7份Lightning Attention加1份MLA的混合线性注意力架构，使256K长上下文成本从指数级降至线性级，算力更多用于思考。通过Kpop算法区分工具调用与自然语言Token，结合思维链剪枝、自蒸馏等，Token输出减少约4倍而能力不降。在LongBench、BFCL等基准上提升显著，千亿参数模型在Agent任务中超越部分更大模型；小模型flash吞吐达2.4倍，五轮对话成本下降10倍以上。
推荐理由：蚂蚁百灵副总裁周俊这次分享，把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面，7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。
蚂蚁集团副总裁周俊提出，万亿参数模型每运行15分钟算力成本约相当于一辆特斯拉，效率是智能体时代必须最先解决的问题。团队通过7份Lightning Attention搭配1份MLA的混合线性改造，将256K长上下文成本从指数级降至线性级，配合Kpop算法与真实环境训练，使Token输出减少约4倍，千亿参数模型在真实Agent任务上超过部分更大规模模型。
推荐理由：7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数，为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。
Liquid AI 开源了 Antidoom，一种基于 Final Token Preference Optimization (FTPO) 的针对性修复方法，用于减少推理模型中的 doom loop（死循环）问题。该方法定位循环开始的第一个 token，训练模型选择连贯替代项，而不改变整体输出分布。在 LFM2.5-2.6B 上，硬数学和编程任务中的循环率从 10.2% 降至 1.4%；Qwen3.5-4B 上从 22.9% 降至 1%。整套流程可在数小时内完成，全部代码和数据集（LiquidAI/antidoom-mix-v1.0）已开源。
推荐理由：Antidoom 用一次训练就修复了小型推理模型常见的 doom loop，LFM2.5 和 Qwen3.5 的循环率从两位数掉到 1%，代码和数据全开源，自己训模型时可以直接加这一环。
Cognition 发布 SWE-1.7，称其以更低成本达到前沿智能水平。模型基于 Kimi K2.7 底座训练，FrontierCode 1.1 Main 通过率 42.3%，Terminal-Bench 2.1 为 81.5%，已在 Devin（Web、Desktop 和 CLI）中经 Cerebras 以 1000 TPS 提供。
推荐理由：官方既公布基准成绩也详解训练方法，读者可以了解多集群 RL 训练、熵稳定和自压缩等具体做法。
Tencent Hy@TencentHunyuan精选AI 评分7171⚡ 作为 Day-0 合作伙伴正式上线：@TencentHunyuan Hy3 现已在 @OpenRouter 上可用。 🎉 7 月 21 日前免费。 专为真实商业场景打造，Hy3 提供： 🧠 295B MoE（21B 激活） 📚 原生 256K 上下文 ⚙️ 三种可配置推理模式 💻 强大的编码、推理与长上下文能力 🤖 针对智能体工作流优化 为生产力与真实 AI 工作流而设计，在生产规模下平衡可靠性、效率与成本。 #Hy3 #LLM #Agents
推荐理由：腾讯混元 Hy3 在 OpenRouter 免费上线，295B MoE 模型直接可用，对想试国产模型海外部署的开发者是个低门槛入口，但模型本身没有给出超越预期的亮点，更像常规渠道拓展。
SGLang 团队将 DSpark 推测解码算法集成到开源推理引擎中。该算法采用半自回归块起草器一次生成一组 token，并利用置信度头与顺序温度缩放（STS）为每个请求动态分配可变验证长度，从而在高负载下裁剪无效验证成本。SGLang 支持密集模型（如 Qwen3）和稀疏模型（如 DeepSeek-V4），通过全 CUDA 图处理不规则的每请求验证长度。提供三种验证模式：`static`（全长）、`compact`（生产路径）和 `cap-accept`（接受上限测量）。还引入了零开销调度、基于离线成本表的在线调度器、融合 Triton 核等优化。在 H200 上使用 DeepSeek-V4-Flash 的测试中，DSpark 在整个并发扫描范围内比 MTP 和非推测基线实现了更优的吞吐量-延迟权衡。
推荐理由：DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收，383 tok/s 的单请求速度对部署方是即时可用的性能增益。
腾讯混元发布 Hy3，在推理、智能体、长上下文等任务上显著进步，比肩 2～5 倍参数规模旗舰模型。内部盲测均分 2.67/4，优于 GLM5.1（2.51/4）。幻觉率从 12.5% 降至 5.4%，常识错误率从 25.4% 降至 12.7%，多轮问题率降至 7.9%，MRCR 从 42.9% 升至 75.1%。任务解决率从 72% 跃升至 90%，平均耗时缩短 34%。API 价格为输入 1 元、输出 4 元（每百万 tokens），命中缓存 0.25 元。已以 Apache 2.0 协议在 GitHub、HuggingFace 等平台开源。
推荐理由：腾讯混元 Hy3 不堆参数，靠 agent 能力和产品实测说话，幻觉率减半、多轮问题率大降，开源+降价让开发者能直接上手，是国内大模型里少见的产品导向发布。
腾讯混元正式发布 Hy3，在推理、智能体、长上下文等任务上比肩参数规模 2～5 倍的旗舰模型。内部盲测中 Hy3 均分 2.67/4，优于 GLM5.1 的 2.51/4；幻觉率从 12.5% 降至 5.4%，任务解决率从 72% 跃升至 90%，平均耗时缩短 34%。
推荐理由：Hy3 用 8 个业务线的实测数值（幻觉率从 12.5% 降至 5.4%，任务解决率从 72% 升至 90%）说明模型从榜单到生产可用的差距具体落在哪里。
美团正式开源万亿参数大模型 LongCat-2.0，总参数 1.6T、平均激活约 48B，面向真实 Agentic Coding 任务，官方称在五万卡国产算力集群上完成推理。
推荐理由：官方公布模型参数结构、三项关键优化和开源链接，可据此评估其在国内存量算力上的部署可行性。
SK 海力士于本周一启动规模约 280 亿美元的美股上市计划，将在纳斯达克通过存托凭证发行 1779 万股新股，每 10 份存托凭证对应 1 股普通股。发行价区间周一公布，最终发行价周四敲定，股票周五挂牌交易。受益于全球人工智能热潮，该股年内涨幅超 270%。本次募资规模预计为史上第二大新股发行，仅次于上月 SpaceX 的 857 亿美元 IPO。SK 海力士是高带宽内存芯片核心供应商，产品用于英伟达、谷歌等 AI 设备。
推荐理由：SK海力士的IPO是AI基础设施商业化的标志节点，HBM的垄断地位让它成为这波浪潮里最硬的硬件锚点，280亿美元募资规模足以让做AI投资的人认真关注。
Mistral 发布 Leanstral 1.5，一个 Apache-2.0 许可、总参数 119B、激活 6B 的形式化证明模型，权重开放在 Hugging Face 并提供免费 API。
推荐理由：原文给出基准数字、成本对比和真实代码库找 bug 案例，读者可据此评估形式化验证模型的实际可用性。
SGLang团队将LLM服务、分布式运行时、GPU内核、扩散管道等工作流编码为可执行的SKILL.md文件、脚本、基准合约和审查循环。现有技能包括：SGLang .claude/skills（CUDA调试、内核集成、性能分析等）、SGLang diffusion .claude/skills（扩散模型添加与调优）、BBuf/AI-Infra-Auto-Driven-SKILLS（跨框架SOTA循环）、KDA（MLSys 2026 FlashInfer内核竞赛获胜方案）以及BBuf/KDA-Pilot（已合并三个SGLang集成PR）。Profile证据是性能工作的核心，长期优化转向Loop Engineering——SGLang SOTA Performance Loop将追求SOTA分解为公平基准测试、差距决策、性能分析、补丁和再验证，Humanize/RLCR添加外部审查，Codex Goal以更低协调开销运行相同循环。评审重要性提升，开发者需定义问题、选择证据、设计工作流并判断结果是否可用于生产。
推荐理由：这不是一篇普通的开发经验总结，而是 SGLang 团队把调试、基准测试和性能调优等重复劳动变成可执行 agent 技能的实操手册，对于做推理框架和复杂工程的人非常值得一看。
强化学习（RL）微调被扩展至视觉语言模型（VLM）。研究发现，简单的文本扰动——误导性标题或错误思维链（CoT）——会显著降低模型鲁棒性和置信度，且开源模型衰退更明显。闭源模型呈现类似失败模式，但鲁棒性和推理一致性更强。进一步分析揭示准确性与忠实性的权衡：微调提升基准准确率，但同时侵蚀CoT的可靠性及对上下文变化的鲁棒性；对抗性增强可改善鲁棒性，却无法阻止忠实性漂移。引入忠实性感知奖励能恢复答案与推理的对齐，但与增强结合时训练易崩溃到捷径策略。这些发现强调需联合关注正确性、鲁棒性与视觉推理的忠实性。
推荐理由：RL微调让VLM基准分变好看，却可能让它的推理链变得靠不住，这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。
OpenAI论文首次列出GPT-5.6的三个Pro变体：Luna Pro、Terra Pro和Sol Pro，取代以往单一Pro模式。在基因组学基准中，Sol Pro通过率31.5%居60个测试模型之首，领先标准Sol（28.7%）和Claude Opus 4.8（16.0%）。Pro相比标准版本提升逐级递减：Luna Pro提升7.1个百分点（16.5%→23.6%），Terra Pro提升5.2（23.3%→28.5%），Sol Pro仅提升2.8（28.7%→31.5%）。Terra Pro（28.5%）几乎与标准Sol（28.7%）持平。论文未披露Pro运行的token用量，也不清楚该分层是否会在ChatGPT中实际推出。
推荐理由：论文意外曝光 GPT-5.6 Pro 将有三个变体，Pro 不再只是一个最强模型，而是让用户按推理需求选版本，这才是匹配 200 美元月费该有的逻辑。
NVIDIA 发布 Nemotron-Labs-TwoTower，基于冻结的自回归骨干 Nemotron-3-Nano-30B-A3B 的扩散语言模型。采用双塔架构：上下文塔冻结，降噪器塔训练，通过层对齐交叉注意力和状态播种协作。在 2×H100 上 BF16 评估，保留 98.7% 的 AR 基线质量，生成吞吐量提升 2.42 倍（γ=0.8，块大小 S=16）。降噪器在约 2.1T token 上训练，骨干使用 25T token 预训练。总参数约 60B，每 token 活跃参数约 3B/塔。支持扩散、模拟 AR 和 AR 三种解码模式。
推荐理由：NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上，几乎无损质量却让吞吐翻倍，并且开源可商用，对批量文本生成的团队是实在的加速工具。
美团于6月30日发布新一代万亿参数大模型LongCat-2.0并开源。总参数1.6T，平均激活约48B，原生支持1M超长上下文，在五万卡国产算力集群上完成全流程训练与推理。采用LSA稀疏注意力、零计算专家、ScMoE及MOPD多专家融合（Agent/Reasoning/Interaction三组专家）架构。评测中SWE-bench Pro获59.5，SWE-bench Multilingual获77.3。预览版已通过OpenRouter和longcat.ai开放，月调用量跻身OpenRouter全球前三。
推荐理由：国产算力上首个全流程自训的万亿开源模型，1M上下文和动态专家架构直指Agentic Coding场景，OpenRouter调用量已经冲到前三，不是Demo是生产力。