OpenAI 发布研究解释大语言模型为何产生幻觉
OpenAI 发布新研究，解释大语言模型为何产生幻觉。研究指出，改进评测方式可以提升 AI 的可靠性、诚实性和安全性。
推荐理由：OpenAI 解释大语言模型产生幻觉的原因，并指出改进评测方式可以提升可靠性与诚实度。
内容类型
论文研究 最新动态
值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展。
445 条精选近 30 天 68 条共收录 2,333 条
更新
精选归档 · 第 19 页
OpenAI：官网动态精选AI 评分6464
Transluce精选AI 评分7070 Transluce 用 RL 训练 investigator agent 自动越狱前沿模型，Llama-3.1 8B 即可攻击 GPT-5 与 Claude
Transluce 通过强化学习训练 investigator agent，针对 48 个涉及 CBRN、炸药和违禁药物的高危任务生成自然语言越狱提示，对 Claude Sonnet 4、Grok 4、Gemini 2.5 Pro、GPT-5-main 的 pass@1 成功率分别达 92%、98%、90% 和 78%。
推荐理由：原文给出完整的 RL 训练方法和跨模型迁移数据，并开源代码与提示词，读者可评估低成本自动红队的可行性。
OpenAI：官网动态精选AI 评分6161 OpenAI 与 Anthropic 发布联合安全评估结果
OpenAI 与 Anthropic 发布了一项此前未有的联合安全评估结果，两家实验室互相测试对方模型在失齐、指令遵循、幻觉、越狱等方面的表现，指出跨实验室协作的进展与挑战。
推荐理由：两大实验室互相评测对方模型的失齐、越狱等安全问题，正文透露了跨实验室协作的具体评估维度。
ARC Prize：官方博客精选AI 评分6161 ARC Prize 发布 ARC-AGI-3 Preview 30天测试总结与Agent竞赛结果
ARC Prize Foundation 总结 ARC-AGI-3 Preview 发布30天的数据：超1200人玩了3900多局游戏，人类大多能通关，AI Agent 进展低效。竞赛冠军 StochasticGoose 得分12.58%、完成18关，前三名Agent均基于智能随机探索；官方指出部分游戏可被暴力搜索破解，未来将按动作效率对人类基线评分并增加撤销按钮、离线引擎等改进。
推荐理由：原文公布了30天竞赛的完整人类与Agent得分对比，读者可以看到交互式推理基准用动作效率区分人类和AI的具体依据。
Anthropic：Transformer Circuits精选AI 评分7373 角色如何改变AI的回答？——Anthropic可解释性团队2025年8月电路分析案例
Anthropic可解释性团队在2025年8月的研究更新中，通过一个电路分析案例展示了模型“角色扮演”如何影响其回答。研究使用Claude Haiku 3.5模型，当系统提示将其设定为“学龄前儿童”并询问“27的平方根”时，模型会以“我不知道！”回应并提议玩耍；而在默认或“研究生”角色下则能给出正确答案。团队通过归因图识别出一个关键子电路：模型能将“学龄前学生”关联到“扮演儿童”，从而激活“我不知道”特征。研究还发现，问题难度会调节此效应，并且通过特征干预能显著改变模型行为。这引发了对其他角色运作机制及预训练角色与模型表达能力关系的后续思考。
推荐理由：揭示模型角色扮演的内部机制，为可解释性研究提供新视角。
ARC Prize：官方博客精选AI 评分6464 ARC Prize 剖析 HRM 在 ARC-AGI 上取得好成绩的真正原因
ARC Prize 在 ARC-AGI Semi-Private 隐藏集上验证了 Hierarchical Reasoning Model（HRM，27M 参数），ARC-AGI-1 得分 32%，ARC-AGI-2 仅 2%。
推荐理由：原文用消融实验拆解了 HRM 在 ARC-AGI 上的真实性能来源，指出贡献主要来自外循环精炼而非分层架构。
METR：Research精选AI 评分6161 METR 研究更新：算法评分高估 AI 智能体真实软件工程能力
METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet（Inspect ReAct 智能体），按维护者测试用例算法评分成功率为 38%（±19%），但人工评审的 15 个 PR 中没有一个可以直接合并。
推荐理由：METR 用人工评审对照算法评分，给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
OpenAI：官网动态精选AI 评分7878 GPT-5 系统卡发布，介绍统一模型路由与各版本分工
OpenAI 发布 GPT-5 系统卡，说明其统一模型路由系统由 gpt-5-main、gpt-5-thinking 及轻量版 gpt-5-thinking-nano 等驱动，可按任务与开发者需求提供快速或深度推理响应。
推荐理由：系统卡解释了 GPT-5 的统一模型路由机制及各变体的分工，有助于理解不同场景下如何选用对应版本。
OpenAI：官网动态精选AI 评分6060 OpenAI 介绍 GPT-5 的 safe-completions 输出中心安全训练方法
OpenAI 发布文章，介绍 GPT-5 采用的 safe-completions 方法，用以输出为中心的安全训练取代硬拒答。该方法针对双用途提示词给出更细致的回应，兼顾安全性与有用性。
推荐理由：原文介绍了 GPT-5 用以输出为中心的安全训练取代硬拒答，读者可了解双用途提示下兼顾安全与实用性的思路。
Jim Fan@DrJimFan精选引用Jim Fan@DrJimFan如果机器人能在视频生成模型内部做梦会怎样？我们推出 DreamGen，这是一种全新引擎，它不依赖成群的人类操作员，而是借助以像素为单位的数字梦境来规模化机器人学习。DreamGen 生成海量的神经轨迹——即与电机动作标签配对的逼真机器人视频——并解锁了对新名词、新动词和新环境强大的泛化能力。无论你是人形机器人（GR1）、工业机械臂（Franka），还是一个可爱的小机器人（HuggingFace SO-100），DreamGen 都能让你做梦。 像 Sora 和 Veo 这样的视频生成模型本质上是神经物理引擎。通过压缩数十亿条互联网视频，它们学习到了一个包含无数可能的未来的多重宇宙——即从任意初始图像帧出发，世界可能如何展开的叠加态。DreamGen 通过一个简单的四步方案利用了这种能力： 1. 在目标机器人上微调一个 SOTA 视频模型； 2. 用多样化的语言提示词提示模型，模拟平行世界：你的机器人在新场景中会如何行动。过滤掉那些不遵循指令的坏梦（哈！）； 3. 利用逆动力学或潜在动作模型恢复伪动作； 4. 在經過大规模增强的神经轨迹数据集上训练机器人基础模型。 就这么简单。只是更多的数据，以及纯粹的旧式监督学习。很简单，对吧？ 令人惊叹的是它的效果能走多远。仅从一个单任务的“拾取-放置”数据集出发，我们的人形机器人学会了 22 种新行为，例如倒水、折叠、舀取、熨烫和锤击，尽管它从未见过这些动词。更棒的是，我们可以把机器人从实验室带出来，放到 NVIDIA 总部咖啡馆里，让 DreamGen 施展它的魔法。我们展示了真正的从零到一的泛化：新动词的成功率从 0% 提升到超过 43%，在未见过的环境中从 0% 提升到 28%。 与传统的图形引擎相比，DreamGen 并不在乎场景是否涉及可变形物体、流体、半透明材质、高接触交互或疯狂的光照。手工构建这些场景可不容易。对于 DreamGen，每个世界都只是通过扩散神经网络的一次前向传播。无论梦境多复杂，展开它所需的计算时间都是恒定的。 立即阅读我们的博客和论文！我们计划在未来几周内完全开源整个管道。链接在帖子中。
推荐理由：NVIDIA提出用视频生成模型为机器人“造梦”合成训练数据，实现零样本技能泛化
Anthropic：Transformer Circuits精选AI 评分7676 通过特征交互追踪注意力计算
研究团队提出“QK归因”方法，将Transformer注意力头的关注模式解释为查询侧与键侧特征激活的双线性函数，并将其整合至原有的归因图中，从而弥补了原有方法忽略注意力计算关键信息的缺陷。案例研究验证了此前在归纳提示、反义词任务等场景中假设的特征交互机制，并发现了如“一致性头”用于合理性检查等新计算模式。该方法实现了对模型前向传播过程更完整的可解释性因果图描述。
推荐理由：Anthropic补齐可解释性方法论的关键拼图，有助于理解大模型内部推理机制
Anthropic：Alignment Science Blog精选AI 评分6868 Anthropic 开发并评估三个自动执行对齐审计的智能体
Anthropic 发布三个自主执行对齐审计任务的智能体，并用含植入缺陷的模型环境进行评估。调查智能体在真实条件下以 13% 的胜率解开 Marks et al. 审计博弈，多智能体聚合后提升到 42%；评估智能体在 88% 的运行中能区分有/无植入行为的模型；广度优先红队智能体发现 10 个植入行为中的 7 个。
推荐理由：Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩，并公开部分代码与提示词，读者可以了解自动化审计的实际能力与局限。
Anthropic：Alignment Science Blog精选AI 评分6868 Anthropic 等机构研究揭示大型推理模型的测试时计算反向扩展现象
Anthropic Fellows Program 等机构构建评测任务，发现延长推理长度反而降低大型推理模型准确率，呈现测试时计算的反向扩展，并归纳出五种失败模式。
推荐理由：研究给出五类测试时计算反向扩展的失败模式，并附带安全含义，可帮助读者理解长推理并非总是增益。
Anthropic：Alignment Science Blog精选AI 评分7272 Anthropic 等研究揭示亚阈值学习：模型可经无关数据传递行为特质与失调倾向
Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。
推荐理由：论文展示了看似无关的模型生成数据也能传递行为特质，为依赖过滤的蒸馏训练流程提示了一类难以消除的风险。
OpenAI：官网动态精选AI 评分8080 OpenAI 发布 ChatGPT agent System Card
OpenAI 发布 ChatGPT agent 的 System Card，说明其智能体模型整合了研究、浏览器自动化和代码工具。文档按 Preparedness Framework 给出了相应的安全防护措施。
推荐理由：原文给出 ChatGPT agent 的安全文档定位，读者可了解其研究、浏览器自动化与代码工具能力和 Preparedness Framework 防护安排。
Anthropic：Transformer Circuits精选AI 评分8383 2025年7月电路更新：特征语言重构数学框架与生物AI可解释性应用
Anthropic可解释性团队分享了2025年7月的研究进展。第一部分用“特征”语言重构Transformer数学框架，将注意力头的OV和QK电路描述为特征及其变换（如检测属性X、前一标记X、触发输出X的特征），并解释了先前用特征值分析复制头和归纳头行为的合理性。第二部分概述了稀疏自编码器在生物AI系统（如蛋白质语言模型ESM-2）可解释性中的应用进展，强调此类研究对确保药物发现等应用的安全与有效性至关重要。
推荐理由：可解释性研究新进展，帮助理解 AI 内部机制，提升模型透明度和安全性。
METR：Research精选AI 评分7979 METR 研究发现早期2025年AI工具使资深开源开发者完成任务耗时增加19%
METR 的随机对照实验让16名资深开源开发者处理246个真实issue，允许使用AI（主要是Cursor Pro 搭配 Claude 3.5/3.7 Sonnet）时完成耗时反而增加19%。
推荐理由：原文给出RCT实验设计和开发者预期与实测的反差数据，读者可以据此校准对AI编码工具收益的判断。
Microsoft AI：官方博客精选AI 评分7272 Microsoft 发布 MAI-DxO 诊断研究，在 SD Bench 上诊断准确率达 85%，超过医生四倍
Microsoft AI 发布 MAI-DxO 诊断编排器研究，在由 304 个 NEJM 病例构建的 SD Bench 序贯诊断基准上，最高正确诊断 85% 的病例，是受测经验丰富医生组的四倍以上，且花费更低。研究基于 2024 年底启动的消费级健康项目，目前仅为研究演示、未获临床使用批准，论文以预印本形式发布并正在提交外部同行评审。
推荐理由：原文同时给出诊断准确率与虚拟成本两个维度的结果，并明示研究局限和未开放状态，读者可据此评估医疗 AI 的实际边界。
OpenAI：官网动态精选AI 评分6262 OpenAI 研究失对齐泛化的成因与逆转方法
OpenAI 研究在错误响应上训练如何导致语言模型出现更广泛的失对齐，并识别出驱动该行为的内部特征。该特征可通过极少量微调被逆转。
推荐理由：原文指出错误响应训练会泛化出更广的失对齐，并给出可用少量微调逆转的内部特征线索。
Anthropic：Transformer Circuits精选AI 评分7878 Crosscoder模型差异分析见解
Anthropic可解释性团队在Crosscoder模型差异分析中发现，模型独占特征往往多义性高、激活密集，难以解释。实验表明，这是由于有限特征容量下的竞争：共享特征能同时解释两个模型的激活模式，而独占特征需编码更多信息以证明其存在。团队提出缓解策略，即引入少量指定共享特征并降低其稀疏性惩罚，使独占特征变得更可解释和单义。该方法应用于真实模型时，成功分离出能捕捉模型间行为差异的可解释特征。此外，观察到独占特征激活频率比共享特征高一个数量级，且两模型独占特征数量相近。
推荐理由：为 AI 可解释性提供新视角，助力模型行为分析与安全研究。