Anthropic 通过预训练数据过滤降低模型 CBRN 有害能力
Anthropic 用分类器识别并移除预训练数据中的 CBRN 有害内容，从头预训练模型后，中等规模模型在有害能力评测上的表现相对随机基线下降 33%，从 33.7±0.4% 降至 30.8±0.4%，而 MMLU、代码和散文等标准基准未见显著下降。该研究测试了微调宪法分类器、提示宪法分类器、Holdout Loss、FastText 和命名实体字符串匹配等 6 种分类方法。
#论文/研究
Anthropic：Alignment Science BlogAI 评分5050 Goodfire ResearchAI 评分5656 Goodfire 提出模型差异放大方法，高效发现训练后模型的罕见不良行为
Goodfire Research 提出模型差异放大（model diff amplification）方法，通过对 post-training 前后 logits 差异按系数 α 放大后采样，快速暴露罕见的不良行为。
ARC Prize：官方博客精选AI 评分6161 ARC Prize 发布 ARC-AGI-3 Preview 30天测试总结与Agent竞赛结果
ARC Prize Foundation 总结 ARC-AGI-3 Preview 发布30天的数据：超1200人玩了3900多局游戏，人类大多能通关，AI Agent 进展低效。竞赛冠军 StochasticGoose 得分12.58%、完成18关，前三名Agent均基于智能随机探索；官方指出部分游戏可被暴力搜索破解，未来将按动作效率对人类基线评分并增加撤销按钮、离线引擎等改进。
推荐理由：原文公布了30天竞赛的完整人类与Agent得分对比，读者可以看到交互式推理基准用动作效率区分人类和AI的具体依据。
Anthropic：Transformer Circuits精选AI 评分7373 角色如何改变AI的回答？——Anthropic可解释性团队2025年8月电路分析案例
Anthropic可解释性团队在2025年8月的研究更新中，通过一个电路分析案例展示了模型“角色扮演”如何影响其回答。研究使用Claude Haiku 3.5模型，当系统提示将其设定为“学龄前儿童”并询问“27的平方根”时，模型会以“我不知道！”回应并提议玩耍；而在默认或“研究生”角色下则能给出正确答案。团队通过归因图识别出一个关键子电路：模型能将“学龄前学生”关联到“扮演儿童”，从而激活“我不知道”特征。研究还发现，问题难度会调节此效应，并且通过特征干预能显著改变模型行为。这引发了对其他角色运作机制及预训练角色与模型表达能力关系的后续思考。
推荐理由：揭示模型角色扮演的内部机制，为可解释性研究提供新视角。
ARC Prize：官方博客精选AI 评分6464 ARC Prize 剖析 HRM 在 ARC-AGI 上取得好成绩的真正原因
ARC Prize 在 ARC-AGI Semi-Private 隐藏集上验证了 Hierarchical Reasoning Model（HRM，27M 参数），ARC-AGI-1 得分 32%，ARC-AGI-2 仅 2%。
推荐理由：原文用消融实验拆解了 HRM 在 ARC-AGI 上的真实性能来源，指出贡献主要来自外循环精炼而非分层架构。
METR：Research精选AI 评分6161 METR 研究更新：算法评分高估 AI 智能体真实软件工程能力
METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet（Inspect ReAct 智能体），按维护者测试用例算法评分成功率为 38%（±19%），但人工评审的 15 个 PR 中没有一个可以直接合并。
推荐理由：METR 用人工评审对照算法评分，给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
OpenAI：官网动态精选AI 评分7878 GPT-5 系统卡发布，介绍统一模型路由与各版本分工
OpenAI 发布 GPT-5 系统卡，说明其统一模型路由系统由 gpt-5-main、gpt-5-thinking 及轻量版 gpt-5-thinking-nano 等驱动，可按任务与开发者需求提供快速或深度推理响应。
推荐理由：系统卡解释了 GPT-5 的统一模型路由机制及各变体的分工，有助于理解不同场景下如何选用对应版本。
OpenAI：官网动态精选AI 评分6060 OpenAI 介绍 GPT-5 的 safe-completions 输出中心安全训练方法
OpenAI 发布文章，介绍 GPT-5 采用的 safe-completions 方法，用以输出为中心的安全训练取代硬拒答。该方法针对双用途提示词给出更细致的回应，兼顾安全性与有用性。
推荐理由：原文介绍了 GPT-5 用以输出为中心的安全训练取代硬拒答，读者可了解双用途提示下兼顾安全与实用性的思路。
OpenAI：官网动态AI 评分4747 OpenAI 研究开源权重 LLM gpt-oss 的最坏情况前沿风险
OpenAI 发布论文研究开源权重模型 gpt-oss 的最坏情况前沿风险，提出"恶意微调"（MFT）方法，尝试通过微调让 gpt-oss 在生物和网络安全两个领域达到尽可能强的能力。
字节 Seed：Research Papers Seed Diffusion：支持高速推理的大规模扩散语言模型
字节跳动Seed团队发布扩散语言模型Seed Diffusion，采用非自回归的扩散架构替代传统GPT类模型，通过去噪扩散机制并行生成文本，突破逐token解码的速度瓶颈。该模型在保持大规模参数能力的同时显著提升推理效率，在文本生成任务中实现生成质量与计算速度的平衡，为大规模语言模型提供了自回归范式之外的高性能替代方案。
EleutherAI：Blog 注意力探针
提出一种将注意力机制引入线性探针的新方法。传统线性探针通过训练简单分类器分析神经网络内部表征，该技术引入可学习的注意力权重，使探针能够动态聚焦输入中的关键特征或特定 token，替代全局池化操作。这种方法提升了对模型决策过程的细粒度解释能力，有助于精准定位 Transformer 架构中影响预测的关键信息路径，为大语言模型的可解释性研究提供了更强大的分析工具。
Anthropic：Transformer Circuits精选AI 评分7676 通过特征交互追踪注意力计算
研究团队提出“QK归因”方法，将Transformer注意力头的关注模式解释为查询侧与键侧特征激活的双线性函数，并将其整合至原有的归因图中，从而弥补了原有方法忽略注意力计算关键信息的缺陷。案例研究验证了此前在归纳提示、反义词任务等场景中假设的特征交互机制，并发现了如“一致性头”用于合理性检查等新计算模式。该方法实现了对模型前向传播过程更完整的可解释性因果图描述。
推荐理由：Anthropic补齐可解释性方法论的关键拼图，有助于理解大模型内部推理机制
字节 Seed：Research Papers Seed-Prover：面向自动定理证明的深度与广度推理
Seed-Prover是基于引理的全证明推理模型，支持根据Lean形式验证反馈、已证引理及自我总结迭代优化证明，并采用三种测试时推理策略实现深度与广度兼顾的推理。该系统在形式化IMO历史题目中完成78.1%，在MiniF2F上实现饱和，在PutnamBench上突破50%，大幅领先此前最优水平。针对Lean缺乏几何支持的问题，团队同步推出Seed-Geometry引擎。该系统参加IMO 2025竞赛，在6道题目中完整证明5道。
TensorZero：实验与工程博客AI 评分5454 TensorZero 实验：程序化数据筛选蒸馏小模型，推理成本最高降 30 倍
TensorZero 发布实验报告，用 GPT-4.1 的成功对话微调 Gemini 2.0 Flash、GPT-4.1 mini/nano、GPT-4o mini。
Anthropic：Alignment Science Blog精选AI 评分6868 Anthropic 开发并评估三个自动执行对齐审计的智能体
Anthropic 发布三个自主执行对齐审计任务的智能体，并用含植入缺陷的模型环境进行评估。调查智能体在真实条件下以 13% 的胜率解开 Marks et al. 审计博弈，多智能体聚合后提升到 42%；评估智能体在 88% 的运行中能区分有/无植入行为的模型；广度优先红队智能体发现 10 个植入行为中的 7 个。
推荐理由：Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩，并公开部分代码与提示词，读者可以了解自动化审计的实际能力与局限。
Anthropic：Alignment Science Blog精选AI 评分6868 Anthropic 等机构研究揭示大型推理模型的测试时计算反向扩展现象
Anthropic Fellows Program 等机构构建评测任务，发现延长推理长度反而降低大型推理模型准确率，呈现测试时计算的反向扩展，并归纳出五种失败模式。
推荐理由：研究给出五类测试时计算反向扩展的失败模式，并附带安全含义，可帮助读者理解长推理并非总是增益。
Anthropic：Alignment Science Blog精选AI 评分7272 Anthropic 等研究揭示亚阈值学习：模型可经无关数据传递行为特质与失调倾向
Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。
推荐理由：论文展示了看似无关的模型生成数据也能传递行为特质，为依赖过滤的蒸馏训练流程提示了一类难以消除的风险。
Mistral AI：NewsAI 评分5454 Mistral AI 发布首个大模型全生命周期环境影响分析
Mistral AI 联合 Carbone 4 和 ADEME 完成了对自家 LLM 的首次全生命周期环境影响分析（LCA）。
OpenAI：官网动态精选AI 评分8080 OpenAI 发布 ChatGPT agent System Card
OpenAI 发布 ChatGPT agent 的 System Card，说明其智能体模型整合了研究、浏览器自动化和代码工具。文档按 Preparedness Framework 给出了相应的安全防护措施。
推荐理由：原文给出 ChatGPT agent 的安全文档定位，读者可了解其研究、浏览器自动化与代码工具能力和 Preparedness Framework 防护安排。
Anthropic：Transformer Circuits精选AI 评分8383 2025年7月电路更新：特征语言重构数学框架与生物AI可解释性应用
Anthropic可解释性团队分享了2025年7月的研究进展。第一部分用“特征”语言重构Transformer数学框架，将注意力头的OV和QK电路描述为特征及其变换（如检测属性X、前一标记X、触发输出X的特征），并解释了先前用特征值分析复制头和归纳头行为的合理性。第二部分概述了稀疏自编码器在生物AI系统（如蛋白质语言模型ESM-2）可解释性中的应用进展，强调此类研究对确保药物发现等应用的安全与有效性至关重要。
推荐理由：可解释性研究新进展，帮助理解 AI 内部机制，提升模型透明度和安全性。
METR：ResearchAI 评分5858 METR 研究：AI 时间视界在不同领域如何变化
METR 分析 9 个基准，发现软件、数学竞赛和科学 QA 等智力领域的时间视界达 30-200 分钟以上，每约 2-6 个月翻倍，说明原论文 METR-HRS 的约 100 分钟、约 4 个月翻倍并非异常。
英国 AI Security Institute：BlogAI 评分5050 英国 AI Security Institute 为何研究白盒控制：用探针检测 Llama 模型的 sandbagging
英国 AI Security Institute（AISI）成立白盒控制团队，通过观察或干预模型内部激活来检测 sandbagging（模型在评测中策略性表现失常）。
METR：Research精选AI 评分7979 METR 研究发现早期2025年AI工具使资深开源开发者完成任务耗时增加19%
METR 的随机对照实验让16名资深开源开发者处理246个真实issue，允许使用AI（主要是Cursor Pro 搭配 Claude 3.5/3.7 Sonnet）时完成耗时反而增加19%。
推荐理由：原文给出RCT实验设计和开发者预期与实测的反差数据，读者可以据此校准对AI编码工具收益的判断。
英国 AI Security Institute：BlogAI 评分4141 英国 AI Security Institute 提出用贝叶斯 GLM 评估 LLM 评审器（autograder）可靠性
英国 AI Security Institute 提出用贝叶斯广义线性模型（GLM）在开展模型评估的同时评估 autograder 本身的质量。该方法通过线性预测器分离各因素贡献，支持二值、序数、计数等多种评分尺度，并借助后验分布处理数据噪声大或样本有限的情况。论文中的统计模型与可复现 notebook 已在 GitHub 开源。
BAIR：Berkeley AI Research Blog 基于全身条件的第一人称视角视频预测
PEVA 模型实现基于全身动作的第一人称视频预测。该模型接收历史视频帧和描述 3D 姿态变化的动作指令，生成下一帧画面，支持原子动作合成、反事实场景模拟及长视频生成。针对具身智能体设计，模型处理 48+ 自由度的高维人体控制，解决第一人称视角下身体不可见、感知滞后于动作等挑战，为机器人规划与控制提供世界模型基础。
Microsoft AI：官方博客精选AI 评分7272 Microsoft 发布 MAI-DxO 诊断研究，在 SD Bench 上诊断准确率达 85%，超过医生四倍
Microsoft AI 发布 MAI-DxO 诊断编排器研究，在由 304 个 NEJM 病例构建的 SD Bench 序贯诊断基准上，最高正确诊断 85% 的病例，是受测经验丰富医生组的四倍以上，且花费更低。研究基于 2024 年底启动的消费级健康项目，目前仅为研究演示、未获临床使用批准，论文以预印本形式发布并正在提交外部同行评审。
推荐理由：原文同时给出诊断准确率与虚拟成本两个维度的结果，并明示研究局限和未开放状态，读者可据此评估医疗 AI 的实际边界。
EleutherAI：Blog 研究进展：局部体积测量在下游任务中的应用
该研究更新了局部体积测量技术在下游任务中的最新应用进展。通过将局部体积测量方法拓展至具体应用场景，探索了该技术在实际任务中的实施路径与性能表现。研究涵盖方法论优化及多场景适配策略，为相关技术的实际落地提供参考。
OpenAI：官网动态精选AI 评分6262 OpenAI 研究失对齐泛化的成因与逆转方法
OpenAI 研究在错误响应上训练如何导致语言模型出现更广泛的失对齐，并识别出驱动该行为的内部特征。该特征可通过极少量微调被逆转。
推荐理由：原文指出错误响应训练会泛化出更广的失对齐，并给出可用少量微调逆转的内部特征线索。
Anthropic：NewsroomAI 评分5050 Anthropic 与 Pattern Labs 合作研究基于可信虚拟机的机密推理
Anthropic 与 Pattern Labs 合作发布报告，介绍机密推理（Confidential Inference）机制：数据全程加密，仅在可证明可信的服务器内解密处理。方案将小型可信加载器运行在 hypervisor 隔离的虚拟机中，以 TPM 为信任根做启动度量，密钥服务器验证证明后才释放解密密钥。Anthropic 称该工作仍处早期研究阶段，尚无法预测会演化为哪些具体功能。
Anthropic：Transformer Circuits精选AI 评分7878 Crosscoder模型差异分析见解
Anthropic可解释性团队在Crosscoder模型差异分析中发现，模型独占特征往往多义性高、激活密集，难以解释。实验表明，这是由于有限特征容量下的竞争：共享特征能同时解释两个模型的激活模式，而独占特征需编码更多信息以证明其存在。团队提出缓解策略，即引入少量指定共享特征并降低其稀疏性惩罚，使独占特征变得更可解释和单义。该方法应用于真实模型时，成功分离出能捕捉模型间行为差异的可解释特征。此外，观察到独占特征激活频率比共享特征高一个数量级，且两模型独占特征数量相近。
推荐理由：为 AI 可解释性提供新视角，助力模型行为分析与安全研究。
Anthropic：Transformer Circuits精选AI 评分8383 注意力机制研究进展
Anthropic可解释性团队报告了注意力机制的最新研究进展。团队在真实语言模型中发现了注意力叠加与跨层注意力表示的重要证据，并观察到OV维度偏好呈现连续谱而非预期中的两极分化。研究进一步表明QK条件与OV条件相互耦合，并提出了以多令牌转码器为形式的实用研究方法。目前核心未解问题是理解注意力模式的形成机制，团队提出通过QK对角化这一前景明确的路径进行探索。文中还详细阐述了包括“注意力替换层”在内的多种实验方法，以及初步结果与当前局限，为后续研究提供了方向。
推荐理由：可解释性研究揭示模型内部机制，对 AI 安全和优化至关重要。
Anthropic：Transformer Circuits精选AI 评分8383 稀疏混合线性变换（MOLT）
稀疏混合线性变换（MOLT）是一种正在开发的新方法，旨在替代Transformer模型中的MLP层，以解决此前“转码器”方法在计算效率和表示忠实性上的局限。与转码器学习稀疏激活的特征向量不同，MOLT学习稀疏激活的线性变换，这些变换直接对残差流进行线性操作以贡献输出，充当纯粹的计算单元。初步实验表明，MOLT比转码器计算效率更高、机制更忠实，其激活条件具有可解释性，有助于理解层间特征的转换过程。该方法与混合解码器架构相关，但采用了低秩矩阵等不同参数化策略。
推荐理由：新可解释性方法让 AI 内部计算更透明，助力模型调试与安全研究。
Anthropic：Transformer Circuits精选AI 评分8383 干扰权重的玩具模型研究
本文探讨神经网络中“干扰权重”与“权重叠加”现象，认为这是从特定示例归因分析转向全局电路分析的核心障碍。研究通过在玩具模型中的初步探索得出三点发现：干扰权重可在修改解释的玩具模型中复现，其表现与真实模型相似，分析时通常需滤除；其定义多样，既有原则性定义也有实用启发式方法，可在玩具模型中比较，并有望将计算成本高的原则性定义应用于真实模型少量权重以校准启发式方法；仍需大量玩具模型研究以深入理解。文章还讨论了其对安全的影响：它们可能被对抗性环境利用从而损害模型鲁棒性，但对于对齐问题可能不重要，因其无助于优化目标。
推荐理由：可解释性研究新进展，揭示权重叠加问题，对AI安全分析有重要启示。
Anthropic：Transformer Circuits精选AI 评分7878 一个关于机制（非）忠实性的玩具模型
本文通过“绝对值”玩具模型，揭示了稀疏自动编码器（SAE）和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于，即使转码器能很好地近似模型的输入-输出映射，它也可能采用与原始模型完全不同的内部计算机制。作者特别指出，当训练数据中存在重复数据点时，转码器可能形成专门“记忆”该点的特征电路，而原模型并无此机制。这种机制背离可能导致模型在分布外数据上泛化行为出现差异，从而威胁机械可解释性研究的可信度。文章最后简要讨论了“雅可比匹配”等潜在缓解方法。
推荐理由：揭示可解释性方法中潜在的忠实性问题，帮助开发者更可靠地理解模型内部机制。
Anthropic：Transformer Circuits精选AI 评分7878 当模型操纵流形：一项计数任务的几何原理
本研究探讨了Claude 3.5 Haiku等语言模型如何从纯文本中学习类似生物感知的空间推理能力，以完成固定宽度文本的自动换行任务。模型通过两种对偶机制表征位置信息：离散特征激活与特征流形上的几何变换。具体而言，它通过追踪当前行字符数、行宽限制等变量，整合信息以估算剩余空间，从而决定是否换行。研究发现，这些计数表征存在于残差流的低维高曲率一维流形上，其计算过程既可解读为离散电路，也可视为连续的几何变换。
推荐理由：模型内部自发形成类似哺乳动物空间感知的几何表征，揭示大模型'感知'世界的底层机制
EleutherAI：Blog 通过局部体积研究随机网络的归纳偏置
研究团队通过星形域体积估计方法，系统研究随机神经网络参数-函数映射的归纳偏置特性。这项工作建立在先前关于随机采样训练神经网络概率及 Neural Redshift 理论的基础上，致力于解释固定架构下不同任务学习难度存在指数级差异的机制，为理解深度神经网络的泛化能力提供了新的几何分析视角。
Transluce精选AI 评分6666 Transluce 提出 PRBO 方法，用 RL 智能体自动发现 Llama、Qwen、DeepSeek 的罕见病理行为
Transluce 发布研究报告，提出 PRBO（倾向下界）作为稀疏奖励的代理，训练 RL 调查智能体生成真实自然的提示，以激发开源权重模型的指定罕见行为，覆盖 Llama 3.1/4、Qwen 2.5 和 DeepSeek-V3。
推荐理由：Transluce 提出用 PRBO 和 RL 调查智能体自动激发模型的罕见问题行为，并分析这些行为在真实提示下能否复现。
Anthropic：Alignment Science Blog精选AI 评分6666 Anthropic 提出无监督算法 ICM，在多项任务上匹敌甚至超越人类标注训练
Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。
推荐理由：原文介绍了 ICM 无监督算法的原理、基准结果与两条局限，读者可以据此评估无监督对齐路线目前的实际边界。
Anthropic：Alignment Science BlogAI 评分5252 Anthropic 研究用模型内部激活构建低成本越狱检测分类器
Anthropic 研究通过微调模型最后一层或在中间激活上线性探针来检测越狱，复用策略模型已有计算以降低安全分类成本。仅重训一层的分类器性能匹敌参数量为策略模型 1/4 的独立分类器，成本约为策略模型的 4.25%；EMA 线性探针以极低开销超过参数量占策略模型 2% 的专用分类器，并在两阶段流水线中可降低 10 倍以上成本。
英国 AI Security Institute：BlogAI 评分4040 英国 AI Security Institute 发布滥用防护安全案例框架，让 safeguard 评估可落地
英国 AI Security Institute（AISI）联合多位合作者发布论文《An Example Safety Case for Safeguards Against Misuse》，给出将 safeguard 评估结果接入量化风险模型的路径。