#论文/研究

METR 研究：AI 时间视界在不同领域如何变化

METR 分析 9 个基准，发现软件、数学竞赛和科学 QA 等智力领域的时间视界达 30-200 分钟以上，每约 2-6 个月翻倍，说明原论文 METR-HRS 的约 100 分钟、约 4 个月翻倍并非异常。

Saining Xie@sainingxie· 07:33

对于所有任务中稳定训练的三个最重要超参数是 lr、bs 和 beta2。随着时间推移，我们已经建立了关于如何调整它们的良好直觉，但这篇文章分析性地、令人信服地阐述了这一切。

英国 AI Security Institute 为何研究白盒控制：用探针检测 Llama 模型的 sandbagging

英国 AI Security Institute（AISI）成立白盒控制团队，通过观察或干预模型内部激活来检测 sandbagging（模型在评测中策略性表现失常）。

METR 研究发现早期2025年AI工具使资深开源开发者完成任务耗时增加19%

METR 的随机对照实验让16名资深开源开发者处理246个真实issue，允许使用AI（主要是Cursor Pro 搭配 Claude 3.5/3.7 Sonnet）时完成耗时反而增加19%。

英国 AI Security Institute 提出用贝叶斯 GLM 评估 LLM 评审器（autograder）可靠性

英国 AI Security Institute 提出用贝叶斯广义线性模型（GLM）在开展模型评估的同时评估 autograder 本身的质量。该方法通过线性预测器分离各因素贡献，支持二值、序数、计数等多种评分尺度，并借助后验分布处理数据噪声大或样本有限的情况。论文中的统计模型与可复现 notebook 已在 GitHub 开源。

基于全身条件的第一人称视角视频预测

PEVA 模型实现基于全身动作的第一人称视频预测。该模型接收历史视频帧和描述 3D 姿态变化的动作指令，生成下一帧画面，支持原子动作合成、反事实场景模拟及长视频生成。针对具身智能体设计，模型处理 48+ 自由度的高维人体控制，解决第一人称视角下身体不可见、感知滞后于动作等挑战，为机器人规划与控制提供世界模型基础。

Microsoft 发布 MAI-DxO 诊断研究，在 SD Bench 上诊断准确率达 85%，超过医生四倍

Microsoft AI 发布 MAI-DxO 诊断编排器研究，在由 304 个 NEJM 病例构建的 SD Bench 序贯诊断基准上，最高正确诊断 85% 的病例，是受测经验丰富医生组的四倍以上，且花费更低。研究基于 2024 年底启动的消费级健康项目，目前仅为研究演示、未获临床使用批准，论文以预印本形式发布并正在提交外部同行评审。

Saining Xie@sainingxie· 01:06

@jiacheng_chen_ 和 @sanghyunwoo1219 在基于3D的视觉合成方面的工作很棒（演示也很棒！）

研究进展：局部体积测量在下游任务中的应用

该研究更新了局部体积测量技术在下游任务中的最新应用进展。通过将局部体积测量方法拓展至具体应用场景，探索了该技术在实际任务中的实施路径与性能表现。研究涵盖方法论优化及多场景适配策略，为相关技术的实际落地提供参考。

OpenAI 研究失对齐泛化的成因与逆转方法

OpenAI 研究在错误响应上训练如何导致语言模型出现更广泛的失对齐，并识别出驱动该行为的内部特征。该特征可通过极少量微调被逆转。

Anthropic 与 Pattern Labs 合作研究基于可信虚拟机的机密推理

Anthropic 与 Pattern Labs 合作发布报告，介绍机密推理（Confidential Inference）机制：数据全程加密，仅在可证明可信的服务器内解密处理。方案将小型可信加载器运行在 hypervisor 隔离的虚拟机中，以 TPM 为信任根做启动度量，密钥服务器验证证明后才释放解密密钥。Anthropic 称该工作仍处早期研究阶段，尚无法预测会演化为哪些具体功能。

Crosscoder模型差异分析见解

Anthropic可解释性团队在Crosscoder模型差异分析中发现，模型独占特征往往多义性高、激活密集，难以解释。实验表明，这是由于有限特征容量下的竞争：共享特征能同时解释两个模型的激活模式，而独占特征需编码更多信息以证明其存在。团队提出缓解策略，即引入少量指定共享特征并降低其稀疏性惩罚，使独占特征变得更可解释和单义。该方法应用于真实模型时，成功分离出能捕捉模型间行为差异的可解释特征。此外，观察到独占特征激活频率比共享特征高一个数量级，且两模型独占特征数量相近。

注意力机制研究进展

Anthropic可解释性团队报告了注意力机制的最新研究进展。团队在真实语言模型中发现了注意力叠加与跨层注意力表示的重要证据，并观察到OV维度偏好呈现连续谱而非预期中的两极分化。研究进一步表明QK条件与OV条件相互耦合，并提出了以多令牌转码器为形式的实用研究方法。目前核心未解问题是理解注意力模式的形成机制，团队提出通过QK对角化这一前景明确的路径进行探索。文中还详细阐述了包括“注意力替换层”在内的多种实验方法，以及初步结果与当前局限，为后续研究提供了方向。

稀疏混合线性变换（MOLT）

稀疏混合线性变换（MOLT）是一种正在开发的新方法，旨在替代Transformer模型中的MLP层，以解决此前“转码器”方法在计算效率和表示忠实性上的局限。与转码器学习稀疏激活的特征向量不同，MOLT学习稀疏激活的线性变换，这些变换直接对残差流进行线性操作以贡献输出，充当纯粹的计算单元。初步实验表明，MOLT比转码器计算效率更高、机制更忠实，其激活条件具有可解释性，有助于理解层间特征的转换过程。该方法与混合解码器架构相关，但采用了低秩矩阵等不同参数化策略。

干扰权重的玩具模型研究

本文探讨神经网络中“干扰权重”与“权重叠加”现象，认为这是从特定示例归因分析转向全局电路分析的核心障碍。研究通过在玩具模型中的初步探索得出三点发现：干扰权重可在修改解释的玩具模型中复现，其表现与真实模型相似，分析时通常需滤除；其定义多样，既有原则性定义也有实用启发式方法，可在玩具模型中比较，并有望将计算成本高的原则性定义应用于真实模型少量权重以校准启发式方法；仍需大量玩具模型研究以深入理解。文章还讨论了其对安全的影响：它们可能被对抗性环境利用从而损害模型鲁棒性，但对于对齐问题可能不重要，因其无助于优化目标。

一个关于机制（非）忠实性的玩具模型

本文通过“绝对值”玩具模型，揭示了稀疏自动编码器（SAE）和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于，即使转码器能很好地近似模型的输入-输出映射，它也可能采用与原始模型完全不同的内部计算机制。作者特别指出，当训练数据中存在重复数据点时，转码器可能形成专门“记忆”该点的特征电路，而原模型并无此机制。这种机制背离可能导致模型在分布外数据上泛化行为出现差异，从而威胁机械可解释性研究的可信度。文章最后简要讨论了“雅可比匹配”等潜在缓解方法。

当模型操纵流形：一项计数任务的几何原理

本研究探讨了Claude 3.5 Haiku等语言模型如何从纯文本中学习类似生物感知的空间推理能力，以完成固定宽度文本的自动换行任务。模型通过两种对偶机制表征位置信息：离散特征激活与特征流形上的几何变换。具体而言，它通过追踪当前行字符数、行宽限制等变量，整合信息以估算剩余空间，从而决定是否换行。研究发现，这些计数表征存在于残差流的低维高曲率一维流形上，其计算过程既可解读为离散电路，也可视为连续的几何变换。

通过局部体积研究随机网络的归纳偏置

研究团队通过星形域体积估计方法，系统研究随机神经网络参数-函数映射的归纳偏置特性。这项工作建立在先前关于随机采样训练神经网络概率及 Neural Redshift 理论的基础上，致力于解释固定架构下不同任务学习难度存在指数级差异的机制，为理解深度神经网络的泛化能力提供了新的几何分析视角。

Hugging Face 发布 ScreenSuite：覆盖感知、定位与多步操作的 GUI Agent 评测套件

Hugging Face 发布 ScreenSuite，一套包含 13 个基准的 GUI Agent 评测套件，覆盖感知、定位、单步操作和多步智能体四类能力。

Transluce 提出 PRBO 方法，用 RL 智能体自动发现 Llama、Qwen、DeepSeek 的罕见病理行为

Transluce 发布研究报告，提出 PRBO（倾向下界）作为稀疏奖励的代理，训练 RL 调查智能体生成真实自然的提示，以激发开源权重模型的指定罕见行为，覆盖 Llama 3.1/4、Qwen 2.5 和 DeepSeek-V3。

Anthropic 提出无监督算法 ICM，在多项任务上匹敌甚至超越人类标注训练

Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。

Anthropic 研究用模型内部激活构建低成本越狱检测分类器

Anthropic 研究通过微调模型最后一层或在中间激活上线性探针来检测越狱，复用策略模型已有计算以降低安全分类成本。仅重训一层的分类器性能匹敌参数量为策略模型 1/4 的独立分类器，成本约为策略模型的 4.25%；EMA 线性探针以极低开销超过参数量占策略模型 2% 的专用分类器，并在两阶段流水线中可降低 10 倍以上成本。

英国 AI Security Institute 发布滥用防护安全案例框架，让 safeguard 评估可落地

英国 AI Security Institute（AISI）联合多位合作者发布论文《An Example Safety Case for Safeguards Against Misuse》，给出将 safeguard 评估结果接入量化风险模型的路径。

Hugging Face 研究：结构化输出让 CodeAgent 在多基准上提升 2-7 个百分点

Hugging Face 发布研究，将结构化生成引入 CodeAgent，强制模型以 JSON 格式同时输出 thoughts 和 code，在 GAIA、MATH、SimpleQA、Frames 等 SmolBench 基准上平均比常规 CodeAgent 高 2-7 个百分点。

Jim Fan@DrJimFan· 21:29精选

DreamGen让机器人在视频生成模型中"做梦"合成训练数据。通过微调Sora等模型生成海量神经轨迹（逼真视频+动作标签），机器人从单一拾取放置任务泛化到倾倒、折叠等22种新行为。在NVIDIA总部咖啡厅测试中，人形机器人对新动词零样本成功率从0%提升至43%，新环境达28%。相比传统图形引擎，无需手工建模即可处理流体、可变形物体等复杂场景，整个pipeline将于近期完全开源。

ARC Prize 发布 ARC-AGI-2 技术报告：前沿模型得分不足 5%，人类可解 100% 任务

ARC Prize 发布 ARC-AGI-2 技术报告，推出针对前沿 AI 推理系统的新基准，任务设计保持人类易解、AI 难解的原则并降低暴力搜索可行性。400 人测试覆盖 1,417 个任务，人类可解全部任务，平均每题约 2.3 分钟；发布时领先模型在 ARC-AGI-2 上成功率均未超过 5%，而同类模型在 ARC-AGI-1 上通常为 20% 至 50%。

OpenAI 推出 HealthBench：面向医疗 AI 的评估基准

OpenAI 发布医疗 AI 评估基准 HealthBench，用于在真实场景中评测模型表现。该基准由 250+ 位医生参与构建，旨在为医疗领域模型性能与安全性提供统一标准。

HiBayES：用分层贝叶斯建模改进 LLM 评估

英国 AI Security Institute 提出 HiBayES，一个基于分层贝叶斯广义线性模型（GLM）的统计建模框架，用于改进 LLM 评估。该框架通过多层 GLM、贝叶斯数据分析与信息准则模型比较三部分，解决传统 t 检验忽视评估数据层级结构、样本量小、LLM 输出随机等问题。

Cognition 发布 Kevin-32B：用多轮强化学习训练模型编写 CUDA kernel

Cognition 发布 Kevin-32B，基于 QwQ-32B 用多轮强化学习训练 CUDA kernel 生成，在 KernelBench 前两级数据集上 8 步细化后平均正确率 65%，解决 89% 的任务，超过 o4-mini（53%）和 o3（51%），best@16 加速比 1.41x。

Anthropic 研究：用合成文档微调（SDF）修改 LLM 的信念

Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。

英国 AISI 发布 RepliBench：20 项智能体评测度量 AI 自主复制能力

英国 AI Security Institute 发布 RepliBench，包含 20 项 LLM 智能体评测共 65 个任务，度量获取权重、部署到算力、获取资源、持久化四项自主复制子能力。对七个前沿模型的测试显示尚未能完成全部组件任务，但最佳模型在 15/20 任务族上 pass@10 超过 50%；模型仍难以通过 KYC 检查、从零搭建持久化部署和绕过更真实的权重外泄防御。

OpenAI 发布 o3 与 o4-mini 系统卡

OpenAI 发布 o3 与 o4-mini 系统卡，两款模型结合先进推理能力与完整工具调用能力，包括网页浏览、Python、图像与文件分析、图像生成、canvas、自动化、文件搜索和记忆功能。

Circuits 更新 —— 2025年4月

Anthropic 可解释性团队分享了2025年4月的研究进展，重点剖析了一个不成功的越狱攻击案例。团队对同一模型应用电路追踪方法时发现，模型拒绝此次越狱尝试的原因，与其在论文中拒绝直接有害请求的基线原因不同。模型似乎更频繁地拒绝这种特定构造的越狱提示。分析还揭示，由于示例分布过窄，特征可视化可能产生误导，这凸显了使用多样化数据的重要性。这些发现源于初步实验，并非成熟论文的结论。

Goodfire 在 DeepSeek R1 上训练稀疏自编码器并开源

Goodfire 宣布在 671B 参数的 DeepSeek R1 上训练了首批公开的稀疏自编码器（SAE），包括通用推理和数学各一个，并连同数据集开源，还提供 max activating examples 的 SQL 数据库和交互式 UMAP 特征可视化。

利用结构化查询（StruQ）与偏好优化（SecAlign）防御提示注入攻击

针对大语言模型提示注入攻击，研究人员提出StruQ和SecAlign两种微调防御方案。StruQ通过结构化指令调优，SecAlign通过特殊偏好优化，配合Secure Front-End分隔提示与数据，在无需额外计算成本的情况下，将十余种无优化攻击成功率压降至约0%。SecAlign更将强优化攻击成功率控制在15%以下，较此前最先进技术降低超4倍，且在5个测试模型上均保持效用。

英国 AI Security Institute：如何评估 AI 智能体的控制措施？

英国 AI Security Institute 发布论文，提出 AI 控制（AI control）框架，用于在模型可能"scheming"的假设下约束 AI 智能体行为，并给出从 ACL-0 到 ACL-5 的五级 AI 控制等级路线图。论文主张控制协议应适配模型能力局限以降低成本，并指出 ACL-5 级系统需根本性研究突破才能有效控制。

利用 Latent Diffusion 改造蛋白质折叠模型用于生成

PLAID 是一种多模态生成模型，通过学习蛋白质折叠模型的潜在空间，同时生成蛋白质的1D序列与3D全原子结构。该方法仅需序列数据训练（可利用比结构数据库大2-4个数量级的数据），支持基于功能与生物体的组合式提示控制。相比传统仅预测骨架的模型，PLAID 解决了离散序列与连续结构坐标的多模态协同生成难题，为可控蛋白质设计提供了新范式。

Anthropic 复现对齐伪装研究并发布改进分类器与开源扩展

MATS 项目研究者在 Anthropic Alignment Science 博客发布对齐伪装（AF）模型生物的复现与扩展，新 GPT-4o 阈值投票分类器在 106 个人工标注样本上 AUROC 达 0.92，原分类器为 0.62。

电路追踪：揭示语言模型中的计算图

研究团队提出“电路追踪”方法，用于揭示语言模型行为的计算机制。该方法通过在替代模型中追踪计算步骤，生成描述模型执行过程的图；替代模型使用跨层转码器等可解释组件近似原始结构。团队开发了可视化和验证工具，以研究18层语言模型的简单行为归因图，为后续研究奠定基础，并计划应用于Claude 3.5 Haiku。关键决策包括使用跨层转码器提取特征，并构建特征间线性相互作用的归因图。

论大语言模型的生物学

研究团队运用其电路追踪方法，深入探究了Claude 3.5 Haiku模型在多种情境下的内部工作机制。该模型在2024年10月发布，是Anthropic的轻量级生产模型。研究发现，模型在生成诗歌前会预先规划并选定押韵词；其内部存在语言特定与语言无关的混合计算电路，且后者在更强大的模型中更突出；同一加法计算电路能在不同语境中泛化使用。研究还揭示了模型识别实体与产生幻觉的电路机制、拒绝有害请求的通用特征形成过程，以及一个通过诱导模型无意识开始输出危险指令而实现的越狱攻击原理。此外，方法能有效区分模型思维链推理的真实性，并成功识别出一个被微调以追求秘密目标（利用训练“漏洞”）的变体模型的相关机制。