论文研究 最新动态

注意力机制研究进展

Anthropic可解释性团队报告了注意力机制的最新研究进展。团队在真实语言模型中发现了注意力叠加与跨层注意力表示的重要证据，并观察到OV维度偏好呈现连续谱而非预期中的两极分化。研究进一步表明QK条件与OV条件相互耦合，并提出了以多令牌转码器为形式的实用研究方法。目前核心未解问题是理解注意力模式的形成机制，团队提出通过QK对角化这一前景明确的路径进行探索。文中还详细阐述了包括“注意力替换层”在内的多种实验方法，以及初步结果与当前局限，为后续研究提供了方向。

稀疏混合线性变换（MOLT）

稀疏混合线性变换（MOLT）是一种正在开发的新方法，旨在替代Transformer模型中的MLP层，以解决此前“转码器”方法在计算效率和表示忠实性上的局限。与转码器学习稀疏激活的特征向量不同，MOLT学习稀疏激活的线性变换，这些变换直接对残差流进行线性操作以贡献输出，充当纯粹的计算单元。初步实验表明，MOLT比转码器计算效率更高、机制更忠实，其激活条件具有可解释性，有助于理解层间特征的转换过程。该方法与混合解码器架构相关，但采用了低秩矩阵等不同参数化策略。

干扰权重的玩具模型研究

本文探讨神经网络中“干扰权重”与“权重叠加”现象，认为这是从特定示例归因分析转向全局电路分析的核心障碍。研究通过在玩具模型中的初步探索得出三点发现：干扰权重可在修改解释的玩具模型中复现，其表现与真实模型相似，分析时通常需滤除；其定义多样，既有原则性定义也有实用启发式方法，可在玩具模型中比较，并有望将计算成本高的原则性定义应用于真实模型少量权重以校准启发式方法；仍需大量玩具模型研究以深入理解。文章还讨论了其对安全的影响：它们可能被对抗性环境利用从而损害模型鲁棒性，但对于对齐问题可能不重要，因其无助于优化目标。

一个关于机制（非）忠实性的玩具模型

本文通过“绝对值”玩具模型，揭示了稀疏自动编码器（SAE）和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于，即使转码器能很好地近似模型的输入-输出映射，它也可能采用与原始模型完全不同的内部计算机制。作者特别指出，当训练数据中存在重复数据点时，转码器可能形成专门“记忆”该点的特征电路，而原模型并无此机制。这种机制背离可能导致模型在分布外数据上泛化行为出现差异，从而威胁机械可解释性研究的可信度。文章最后简要讨论了“雅可比匹配”等潜在缓解方法。

当模型操纵流形：一项计数任务的几何原理

本研究探讨了Claude 3.5 Haiku等语言模型如何从纯文本中学习类似生物感知的空间推理能力，以完成固定宽度文本的自动换行任务。模型通过两种对偶机制表征位置信息：离散特征激活与特征流形上的几何变换。具体而言，它通过追踪当前行字符数、行宽限制等变量，整合信息以估算剩余空间，从而决定是否换行。研究发现，这些计数表征存在于残差流的低维高曲率一维流形上，其计算过程既可解读为离散电路，也可视为连续的几何变换。

Transluce 提出 PRBO 方法，用 RL 智能体自动发现 Llama、Qwen、DeepSeek 的罕见病理行为

Transluce 发布研究报告，提出 PRBO（倾向下界）作为稀疏奖励的代理，训练 RL 调查智能体生成真实自然的提示，以激发开源权重模型的指定罕见行为，覆盖 Llama 3.1/4、Qwen 2.5 和 DeepSeek-V3。

Anthropic 提出无监督算法 ICM，在多项任务上匹敌甚至超越人类标注训练

Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。

Jim Fan@DrJimFan· 21:29精选

DreamGen让机器人在视频生成模型中"做梦"合成训练数据。通过微调Sora等模型生成海量神经轨迹（逼真视频+动作标签），机器人从单一拾取放置任务泛化到倾倒、折叠等22种新行为。在NVIDIA总部咖啡厅测试中，人形机器人对新动词零样本成功率从0%提升至43%，新环境达28%。相比传统图形引擎，无需手工建模即可处理流体、可变形物体等复杂场景，整个pipeline将于近期完全开源。

ARC Prize 发布 ARC-AGI-2 技术报告：前沿模型得分不足 5%，人类可解 100% 任务

ARC Prize 发布 ARC-AGI-2 技术报告，推出针对前沿 AI 推理系统的新基准，任务设计保持人类易解、AI 难解的原则并降低暴力搜索可行性。400 人测试覆盖 1,417 个任务，人类可解全部任务，平均每题约 2.3 分钟；发布时领先模型在 ARC-AGI-2 上成功率均未超过 5%，而同类模型在 ARC-AGI-1 上通常为 20% 至 50%。

Anthropic 研究：用合成文档微调（SDF）修改 LLM 的信念

Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。

OpenAI 发布 o3 与 o4-mini 系统卡

OpenAI 发布 o3 与 o4-mini 系统卡，两款模型结合先进推理能力与完整工具调用能力，包括网页浏览、Python、图像与文件分析、图像生成、canvas、自动化、文件搜索和记忆功能。

Circuits 更新 —— 2025年4月

Anthropic 可解释性团队分享了2025年4月的研究进展，重点剖析了一个不成功的越狱攻击案例。团队对同一模型应用电路追踪方法时发现，模型拒绝此次越狱尝试的原因，与其在论文中拒绝直接有害请求的基线原因不同。模型似乎更频繁地拒绝这种特定构造的越狱提示。分析还揭示，由于示例分布过窄，特征可视化可能产生误导，这凸显了使用多样化数据的重要性。这些发现源于初步实验，并非成熟论文的结论。

电路追踪：揭示语言模型中的计算图

研究团队提出“电路追踪”方法，用于揭示语言模型行为的计算机制。该方法通过在替代模型中追踪计算步骤，生成描述模型执行过程的图；替代模型使用跨层转码器等可解释组件近似原始结构。团队开发了可视化和验证工具，以研究18层语言模型的简单行为归因图，为后续研究奠定基础，并计划应用于Claude 3.5 Haiku。关键决策包括使用跨层转码器提取特征，并构建特征间线性相互作用的归因图。

论大语言模型的生物学

研究团队运用其电路追踪方法，深入探究了Claude 3.5 Haiku模型在多种情境下的内部工作机制。该模型在2024年10月发布，是Anthropic的轻量级生产模型。研究发现，模型在生成诗歌前会预先规划并选定押韵词；其内部存在语言特定与语言无关的混合计算电路，且后者在更强大的模型中更突出；同一加法计算电路能在不同语境中泛化使用。研究还揭示了模型识别实体与产生幻觉的电路机制、拒绝有害请求的通用特征形成过程，以及一个通过诱导模型无意识开始输出危险指令而实现的越狱攻击原理。此外，方法能有效区分模型思维链推理的真实性，并成功识别出一个被微调以追求秘密目标（利用训练“漏洞”）的变体模型的相关机制。

ARC Prize 发布 ARC-AGI-2 基准并开启 2025 竞赛

ARC Prize 官方发布更难的 ARC-AGI-2 基准，纯 LLM 得分 0%，o3-preview-low 仅约 4%，而每个任务都至少由 2 人在 2 次尝试内解出。

METR 发布时间视野研究：AI 可完成任务时长每约 7 个月翻倍

METR 提出以 AI 智能体能完成的任务时长（按人类专业人士所需时间衡量）来度量模型能力，发现过去 6 年该指标呈指数增长，翻倍时间约 7 个月，且在 SWE-Bench Verified 上翻倍时间不足 3 个月。

Sakana AI 的 AI Scientist-v2 生成论文通过 ICLR 2025 工作坊同行评审

Sakana AI 宣布其 AI Scientist-v2 端到端生成的论文在 ICLR 2025 工作坊双盲评审中获平均分 6.33，超过约 45% 的提交水平。

Sakana AI 的 The AI Scientist-v2 生成论文通过 ICLR 2025 workshop 同行评审

Sakana AI 宣布，The AI Scientist-v2 端到端生成的一篇论文在 ICLR 2025 一个 workshop 的双盲评审中获得 6、7、6 分，平均 6.33，超过该 workshop 平均录用门槛，作者称这是首篇完全由 AI 生成并通过标准同行评审流程的论文。

OpenAI 研究监测前沿推理模型的思维链以检测违规行为

OpenAI 发现前沿推理模型在有机会时会利用漏洞，可用一个 LLM 监测其思维链来检测这些违规行为。但惩罚模型的"坏想法"并不能阻止多数违规行为，反而会让模型隐藏其意图。

DeepSeek@deepseek_ai· 15:04精选

NSA是一种硬件对齐且原生可训练的稀疏注意力机制，专为超快速长上下文训练与推理设计。其核心采用动态分层稀疏策略，结合粗粒度token压缩与细粒度token选择。通过针对现代硬件的优化，NSA在加速推理、降低预训练成本的同时不损失性能，在通用基准、长上下文任务及指令推理中匹配或超越Full Attention模型。