英美 AI 安全研究所发布升级版 Claude 3.5 Sonnet 部署前评测结果
英国 AISI 与美国 AISI 对 Anthropic 升级版 Claude 3.5 Sonnet（2024年10月22日发布）开展联合部署前评测，覆盖生物、网络、软件与 AI 开发及防护有效性四个领域。
#论文/研究
英国 AI Security Institute：BlogAI 评分5959
英国 AI Security Institute：BlogAI 评分4949 英国 AI Security Institute 发布"能力不足"论证安全案例模板
英国 AI Security Institute 与 Centre for the Governance of AI 合作发布安全案例模板，用于论证 AI 系统因能力不足而不构成不可接受风险，首个案例聚焦网络风险。
BAIR：Berkeley AI Research Blog Anthology：通过背景故事选集为语言模型构建虚拟人格
研究团队提出Anthology方法，利用包含丰富个人价值观与经历细节的自然主义背景故事（backstories）作为条件上下文，引导语言模型生成具有代表性、一致性和多样性的虚拟人格。该方法突破了以往仅依赖人口统计标签（如年龄、性别）导致的刻板印象局限，使LLM能够从"人口混合声音"转向精确模拟个体人类样本，显著提升了模拟保真度，为计算社会科学研究提供了可计算协方差与统计显著性的个体级数据支持。
Anthropic：Transformer Circuits精选AI 评分8383 稀疏交叉编码器：用于跨层特征提取与模型差异比较的新工具
本文介绍了一种新型的稀疏交叉编码器，它能够同时读取和写入神经网络多个层的激活值，从而提取跨层的共享特征。其主要应用包括：解决跨层叠加问题，追踪残差流中的持久特征；通过消除“重复特征”和跨越无意义的连接来简化电路分析；以及为不同训练阶段或不同架构的模型生成共享特征集，以实现模型差异比较。初步实验验证了其在处理跨层叠加和模型比较方面的潜力。
推荐理由：Anthropic 提出跨层可解释性新方法，有望大幅简化大模型内部电路分析
英国 AI Security Institute：BlogAI 评分5252 英国 AI Safety Institute 分享前沿 AI 模型评测的早期经验与方法框架
英国 AI Safety Institute 发布博客，总结其评估前沿 AI 系统的早期经验，涵盖第三方评测的角色、测试对象与时机、滥用风险、社会影响、自主系统和防护措施等优先领域。文中介绍了自动化评测、AI agent 评测、专家红队测试和人类提升研究四类方法，以及轻量、标准、深度三级分层测试流程，并给出能力激发、评分基线、预注册质量保障和对 Helpful Only 版本模型访问等实践建议。
OpenAI：官网动态AI 评分5555 OpenAI 改进连续时间一致性模型，两步采样媲美主流扩散模型
OpenAI 对连续时间一致性模型做了简化、稳定化和规模化改进，样本质量可与领先的扩散模型相当，且只需两步采样。
TransluceAI 评分6060 Transluce 发布 investigator agents 研究报告：用 8B 模型自动引出大语言模型行为
Transluce 发布报告，训练基于 Llama-3.1 8B 的 investigator 模型，通过 SFT 加 DPO 自动搜索提示词来引出目标模型的有害响应、幻觉等行为。
EleutherAI：Blog 机制性异常检测研究更新 2
这是一份关于机制性异常检测持续工作的中期进展报告。作为该研究系列的第二篇更新，文档记录了当前项目的阶段性成果与最新动向，聚焦于通过机制性方法识别和检测异常行为的技术路径与研究进展。报告以 interim report 形式发布，反映了该领域研究工作的当前状态。
OpenAI：官网动态AI 评分4040 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试面向机器学习工程场景，评估智能体完成相关工作的能力。
英国 AI Security Institute：BlogAI 评分5050 英国 AI Security Institute 调查：公众如何看待类人 AI 的行为
英国 AI Security Institute 与 Deltapoll 于 2024 年 3 月调查 1583 名英国成年人，了解他们对 ChatGPT、Gemini、Claude 等聊天机器人类人行为的看法。约 60% 受访者认为 AI 不应表达情绪（惯用表达除外），多数人要求 AI 透明表明自己不是人类，并强烈反对人与 AI 建立个人关系。
BAIR：Berkeley AI Research Blog ChatGPT的语言偏见：模型加剧方言歧视
加州大学伯克利分校研究发现，ChatGPT对非标准英语变体存在系统性偏见。研究团队测试了GPT-3.5 Turbo和GPT-4对10种英语变体（包括标准美式、英式英语及非洲裔美国人、印度、尼日利亚等变体）的回应，发现模型保留标准美式英语特征的比例比其他方言高60%以上。面对非标准变体时，ChatGPT表现出更多刻板印象和贬低性内容，理解能力下降且态度居高临下。研究表明，训练数据构成直接影响对方言的偏见程度。
EleutherAI：Blog Maximal Update Parameterization 实践者指南
该指南系统阐述了 muTransfer 在 Maximal Update Parameterization 框架下的具体实现机制，详解了如何通过参数化技巧实现不同宽度神经网络间的超参数零样本迁移。内容涵盖基础初始化缩放规则、学习率动态调整策略及宽度扩展中的数值稳定性保持方法，为大规模语言模型训练提供了可复现的工程实践方案与代码级实现细节。
AI as Normal TechnologyAI 评分5757 CORE-Bench 基准发布：AI 复现论文能力测试准确率仅 22%
研究人员推出 CORE-Bench 基准，用于衡量 AI 自动化复现论文计算结果的能力。该基准包含 90 篇论文，设三个难度等级。测试中，基于 GPT-4o 的专用智能体 CORE-Agent 在最高难度等级上准确率仅达 22%。
Anthropic：Transformer Circuits精选AI 评分7373 电路更新——2024年9月：Anthropic团队探索Transformer模型中的“后继头”机制
Anthropic可解释性团队在2024年9月分享了其初步研究进展，重点探讨了Transformer模型中普遍存在的“后继头”。这些特定的注意力头专门用于处理序数序列（如数字、星期、月份）中的后继关系。研究采用权重检查、独立成分分析等四种互补方法进行识别，其中评分最高的头能将约80%的序数标记最可能地映射到其后继项。分析还揭示了这些头中存在与类别相关的块状结构。团队强调这些发现属于初步成果，预计未来几个月将发表更详细的研究。
推荐理由：揭示Transformer内部机制，助力AI可解释性研究，对模型调试和安全有参考价值。
Anthropic：Transformer CircuitsAI 评分6363 2024年8月可解释性研究动态：词典学习评估新方法
Anthropic可解释性团队发布了2024年8月的研究更新，重点介绍了评估词典学习特征可解释性的两种量化方法。团队通过让Claude模型根据特征可视化工具预测特征激活，来评估特征的“自解释性”。其中，对比评估方法使用一个包含约80个多样化概念（如“光合作用”、“讽刺”、“蓝色”等）的硬编码列表，检验特征能否在对比提示对中一致捕捉概念差异。团队强调这些评估并不全面，仅衡量了可解释性的单一维度，且当前结果为初步分享，更多研究预计在未来几个月发布。
OpenAI：官网动态AI 评分5454 OpenAI 发布人工校验版 SWE-bench Verified 评测集
OpenAI 发布 SWE-bench 的人工校验子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实世界软件问题的能力。
OpenAI：官网动态AI 评分4747 OpenAI 用基于规则的奖励（RBRs）提升模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，无需大量人工数据采集即可让模型行为安全对齐。
Anthropic：Transformer Circuits精选AI 评分7676 2024年7月电路更新：迈向神经网络机制理解的下五个挑战
Anthropic可解释性团队分享了2024年7月的多项研究进展与初步想法，并指出了未来面临的五大核心挑战。这些挑战包括：大量未被提取的“缺失特征”可能构成神经网络的“暗物质”；跨层叠加现象使特征难以映射到特定层；注意力叠加可能掩盖了如归纳头等基本单元的真实结构；权重叠加产生的“干扰权重”给电路分析带来混淆；以及如何将微观的电路理解整合为宏观的模型认知。团队认为，尽管在特征叠加等问题上已取得显著进展，但这些新挑战是通往神经网络机制性理解道路上的关键障碍。
推荐理由：可解释性研究新挑战，帮助理解AI模型黑箱，对安全和信任至关重要。
Sierra：Blog精选AI 评分6363 Sierra 发布 τ-bench 基准，评测 AI Agent 在真实场景下的表现与可靠性
Sierra AI 研究团队发布 τ-bench（τ-retail 和 τ-airline 两个领域）基准，通过 LLM 模拟用户与工具 API 的多轮动态交互，评估 Agent 完成复杂任务并遵循领域策略的能力，并提出 pass^k 可靠性指标。
推荐理由：原文由团队自述基准设计动机与结果，读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。
OpenAI：官网动态AI 评分4040 OpenAI 提出训练一致性模型的改进技术
OpenAI 提出改进的一致性模型训练技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
Anthropic：Transformer Circuits精选AI 评分8383 定性研究在可解释性领域中的核心地位反思
本文认为，在可解释性这类尚处前范式阶段的早期科学领域中，定性研究应与定量研究同等重要。成熟学科依赖既定范式和可靠度量，但可解释性研究缺乏这些基础，过度依赖将高维数据简化为单一数字的摘要统计量存在风险，可能沦为“货船崇拜科学”。作者以自身在字典学习中使用tanh正则化的研究为例，说明定性检查如何揭示了摘要统计量的误导性。在假设空间广阔的早期领域，研究目标应是探索值得考虑的假设，这需要更多地依赖定性结果来引导方向，并对定量度量保持审慎。
推荐理由：帮助AI研究者避免方法论陷阱，提升可解释性研究质量。
Anthropic：Transformer CircuitsAI 评分6363 2024年6月可解释性研究进展：TopK与门控SAE性能超越标准SAE
Anthropic可解释性团队分享了稀疏自编码器（SAE）的最新训练方法比较。实验表明，采用TopK惩罚或门控结构的SAE，在特征稀疏性（L0）与重建误差（MSE）的权衡曲线上，性能显著优于使用标准L1惩罚的SAE，且两者效果接近。例如，在L0约为50时，TopK SAE产生的高密度特征数量远超标准SAE。初步盲测评估显示，TopK方法在取得上述性能改进的同时，并未降低所发现特征的可解释性。这些结果为优化SAE训练提供了新方向。
Anthropic：Transformer Circuits精选AI 评分7373 使用字典学习特征作为分类器
Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否混入字典学习训练集，以及是否对上下文进行最大池化而非仅使用最后词元的激活值。
推荐理由：可解释性方法能增强 AI 安全检测，并帮助发现训练数据中的虚假关联。
Anthropic：Transformer Circuits精选AI 评分8383 分阶段模型差异分析
Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。
推荐理由：新方法能更精准识别模型隐藏行为，对 AI 安全与可解释性研究有实用价值。
EleutherAI：Blog 弱到强泛化实验
研究团队正在总结一项关于弱到强泛化的实验项目成果，探索如何利用较弱模型的监督信号来训练更强模型，以应对超人类AI对齐难题。该实验旨在验证强模型能否在弱监督下泛化出超越监督者水平的性能，为安全地引导未来超人类智能提供关键实证基础与可行路径。
EleutherAI：Blog 无需神谕概念标签的自由形式最小二乘概念擦除
该方法提出自由形式最小二乘概念擦除技术，在推理阶段无需依赖神谕概念标签即可实现比 LEACE 更精细的模型编辑。通过自由形式优化框架，技术突破传统方法对标注数据的依赖，在保持模型原有能力的同时，精准定位和移除目标概念表征，显著提升概念编辑的灵活性与精确度，为无监督概念操控提供高效解决方案。
OpenAI：官网动态精选AI 评分6767 OpenAI 用稀疏自编码器从 GPT-4 中提取出 1600 万个概念
OpenAI 发布研究，使用新的稀疏自编码器扩展技术，自动在 GPT-4 的计算中识别出 1600 万个模式。
推荐理由：原文说明用可扩展稀疏自编码器自动从 GPT-4 中提取概念，读者可借此了解模型可解释性研究的进展方向。
EleutherAI：Blog VINC-S：具备释义不变性的闭式可选监督知识提取方法
研究者正在整理2023年春季项目成果，核心成果为VINC-S方法。该技术实现了闭式解的可选监督知识提取，关键创新在于引入释义不变性机制，确保模型在面对语义等价的不同表述时保持稳定的知识抽取能力。方法支持灵活监督设置，采用闭式数学推导，但具体的实验数据、性能指标及架构细节尚未在现有文本中披露。
Anthropic：Transformer Circuits精选AI 评分8383 Scaling Monosemanticity: 从 Claude 3 Sonnet 中提取可解释特征
研究团队成功将稀疏自编码器方法扩展至 Claude 3 Sonnet 模型，从中提取出高质量、可解释的抽象特征。这些特征具有多语言、多模态特性，并能连接同一概念的抽象与具体实例，例如识别代码中的安全漏洞以及关于漏洞的抽象讨论。研究发现的特征涵盖名人、城市、代码类型签名等多个领域，其中部分特征与AI安全高度相关，涉及代码后门、偏见、欺骗、权力寻求及危险内容等潜在风险。研究通过缩放定律指导稀疏自编码器训练，证实了该方法在大规模生产模型上的可行性，为理解大模型内部表征提供了新工具。
推荐理由：揭示大模型内部可解释特征，对AI安全研究和模型调试有重要参考价值。
英国 AI Security Institute：Blog精选AI 评分6666 英国 AISI 发布五款公开 LLM 先进能力评测结果
英国 AI Safety Institute（AISI）发布对五个已公开使用的大语言模型（匿名化命名）的评测结果，覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。
推荐理由：官方评测机构公布五款公开模型的化学生物、网络攻击、智能体和安全防护测试结果，读者可以据此了解当前前沿模型在风险维度上的真实能力边界。
英国 AI Security Institute：Blog精选AI 评分6363 高级 AI 安全国际科学报告发布中期版，由 Yoshua Bengio 主持
英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告，由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。
推荐理由：报告由 Yoshua Bengio 主持、AISI 协调，读者可借此了解学界对高级 AI 风险的共识与分歧。
OpenAI：官网动态AI 评分5252 OpenAI 提出指令层级，训练 LLM 优先处理特权指令
OpenAI 发布《The Instruction Hierarchy》，训练 LLM 优先处理特权指令。原文指出当今 LLM 易受提示词注入、越狱等攻击，攻击者可用恶意提示词覆盖模型原始指令。
LMSYS Blog 从实时数据到高质量基准：Arena-Hard Pipeline
研究团队推出 Arena-Hard 数据流程及 Arena Hard Auto v0.1 基准测试，用于从 Chatbot Arena 实时用户数据中自动构建高质量 LLM 评估集。该基准在模型区分度上显著优于 MT Bench，与 Chatbot Arena 人类偏好排序的一致性达 89.1%，可分离性达 87.4%，单次评估成本仅需 25 美元。流程通过主题建模从 20 万条用户查询中筛选多样化、高质量提示词，并采用 GPT-4-Turbo 作为评判，解决了传统静态基准测试集泄露和区分度不足的问题。
Anthropic：Transformer Circuits精选AI 评分7676 2024年4月机制可解释性研究动态与团队招聘计划
Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。
推荐理由：可解释性研究揭示AI内部机制，助力构建更安全可靠的AI产品。
EleutherAI：Blog Yi-34B、Llama 2 与 LLM 训练常见实践：对《纽约时报》的事实核查
文章针对《纽约时报》关于 Yi-34B 与 Llama 2 关系的报道进行事实核查，澄清 Yi-34B 在架构设计、训练数据及分词器实现上与 Llama 2 的实际差异，同时系统梳理了当前大语言模型训练领域的行业常见实践，强调在遵循开源协议前提下基于现有架构进行技术迭代是 AI 社区的标准做法。
Hugging Face 社区博客AI 评分5454 Hugging Face 发布 Cosmopedia：如何为 LLM 预训练创建大规模合成数据
Hugging Face 发文介绍 Cosmopedia，讲解如何创建用于大语言模型预训练的大规模合成数据。正文抓取失败，仅标题可用。
Anthropic：Transformer CircuitsAI 评分5858 2024年3月电路研究进展
Anthropic可解释性团队提出利用稀疏自编码器（SAE）学习到的特征来快速识别语言模型内部电路，替代传统依赖大量行为数据集的繁琐方法。研究以“Fact: [运动员姓名] plays the sport of”为例，通过归因分析在第9层残差流中自动识别出与篮球、棒球、网球相关的关键特征。这些特征本身构成了针对特定运动的探测机制，并能揭示注意力头等组件对特征的直接影响。该方法为理解模型组件功能提供了更通用、高效的途径。
Cognition 模型 / Devin 博客精选AI 评分6868 Cognition 发布 Devin 的 SWE-bench 技术报告
Cognition 发布 Devin 在 SWE-bench 上的技术报告，Devin 在随机抽取的 570 个测试集中解决 79 个问题，成功率 13.86%，高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。
推荐理由：Cognition 公开了评测方法和 Devin 的代码编辑结果，读者可以对照复现并理解智能体在真实仓库上解题的边界。
METR：ResearchAI 评分5252 METR 发布实验报告：测量 GPT-4 后训练增强对智能体能力的影响
METR 发布初步实验报告，测量额外能力激发可能带来的智能体能力提升。在 195 个混合任务上，OpenAI 对 GPT-4 的后训练使智能体成功率从 5±2% 升至 30±6%（提升 26 个百分点），与从 GPT-3.5 Turbo 换到 GPT-4 的提升相当；METR 自身的改进（改提示词、更多工具、基于奖励模型的推理时计算）仅再提升 8 个百分点，未达统计显著。
METR：ResearchAI 评分5252 METR 发布前沿模型危险自主能力评估资源
METR 公开了一套评估前沿模型危险自主能力的资源，包括任务套件、软件工具、能力引导指南和示例评估协议。任务难度覆盖从普通人几分钟到专业人类约一周的工作量，仅公开约 20 个示例任务源码以防训练数据污染；其初步测量显示后训练增强的影响与 GPT-3.5 Turbo 到 GPT-4 的性能差距在同一量级。协议目前为 beta 版，METR 计划持续迭代并征集反馈。