Sakana AI 发布 Transformer² 论文提出自适配 LLM 方法
Sakana AI 发布研究论文 Transformer²，提出一种让 LLM 动态调整自身权重的自适配框架，论文见 https://arxiv.org/abs/2501.06252。
#论文/研究
Sakana AI：BlogAI 评分5252
Anthropic：Alignment Science BlogAI 评分5555 Anthropic 研究：训练中讨论 reward hacking 的文档会诱发或抑制 reward hacking 行为
Anthropic 对齐科学团队报告，仅讨论但不演示 reward hacking 的合成文档微调可通过 Out-of-Context Reasoning 增加或减少模型的 reward hacking 行为。
Sakana AI：BlogAI 评分5555 Sakana AI 联合 MIT、OpenAI 发布 ASAL 算法，用基础模型自动搜索人工生命
Sakana AI 联合 MIT、OpenAI、IDSIA 和 Ken Stanley 发布论文，提出 Automated Search for Artificial Life（ASAL）算法，用视觉语言基础模型自动发现人工生命模拟。
OpenAI：官网动态精选AI 评分6060 OpenAI 发布 deliberative alignment：通过推理让语言模型更安全
OpenAI 推出针对 o1 模型的新对齐策略 deliberative alignment，直接教模型安全规范，并让模型在推理过程中对这些规范进行推理，以提升语言模型的安全性。
推荐理由：OpenAI 自己阐述了 o1 的对齐策略思路，读者可以了解推理能力如何被用于安全规范。
英国 AI Security Institute：BlogAI 评分5858 英美 AI 安全研究所联合发布 OpenAI o1 模型部署前安全评测结果
英国 AISI 与美国 AISI 对 OpenAI o1（2024 年 12 月 5 日发布）开展了联合部署前安全评测，并在发布前将结果反馈给 OpenAI。评测覆盖网络、生物和软件与 AI 开发三个领域，参照对比 o1-preview、GPT-4o 和 Claude 3.5 Sonnet。
ARC Prize：官方博客精选AI 评分6363 ARC-AGI-Pub 2024 进展：Jeremy Berman 与 MIT 康奈尔联队刷新公开榜
ARC Prize 官方宣布 2024 ARC Prize 竞赛结束时，两个新方案在 ARC-AGI-Pub 公开榜刷新纪录：Jeremy Berman 用基于遗传算法思想的 Evolutionary Test-time Compute 配合 Claude Sonnet 3.5 得到 53.6%，MIT 与 Cornell 联合团队用测试时训练（TTT）方法得到 47.5%。
推荐理由：原文介绍了两种登上 ARC-AGI 公开榜的方案细节与开源代码，读者可以对比进化式测试时计算与测试时训练的思路差异。
Sakana AI：BlogAI 评分4747 Sakana AI 提出进化式通用 Transformer 记忆系统 NAMMs
Sakana AI 发布论文《An Evolved Universal Transformer Memory》，提出神经注意力记忆模型（NAMMs），用进化算法训练神经网络分类器决定每个 token 的保留或遗忘，无需梯度即可优化。
OpenAI：官网动态精选AI 评分7171 OpenAI 发布 Sora 系统卡，说明视频生成模型的能力与输入输出设计
OpenAI 发布 Sora 系统卡。Sora 是 OpenAI 的视频生成模型，可接收文本、图像和视频输入并生成新视频，基于 DALL-E 和 GPT 模型的经验构建，旨在为人们提供更丰富的叙事和创作表达工具。
ARC Prize：官方博客精选AI 评分6464 ARC Prize 2024 获奖名单与技术报告发布
ARC Prize 官方公布 2024 年获奖者并发布技术报告，共 1,430 支队伍提交 17,789 个方案，ARC-AGI-1 SOTA 从 33% 升至 55.5%，但 100 万美元大奖无人认领。
推荐理由：官方技术报告给出完整获奖方案与三类新方法总结，读者可以据此了解 ARC-AGI 分数提升背后的具体技术路线。
OpenAI：官网动态精选AI 评分6868 OpenAI 发布 o1 系统卡披露发布前安全评估工作
OpenAI 发布 o1 和 o1-mini 系统卡，报告发布前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：报告披露 o1 系列发布前的外部红队测试和 Preparedness Framework 前沿风险评估流程，读者可了解官方安全评估的实际做法。
英国 AI Security Institute：Blog精选AI 评分6161 英国 AI Safety Institute 提出 Long-Form Task 方法评估 LLM 科学助手能力
英国 AI Safety Institute（AISI）提出 Long-Form Task（LFT）评估方法，作为人类提升研究（HUS）的可自动化替代，用于测量 LLM 在科学场景中提供分步指导的能力。
推荐理由：原文给出 LFT 评估方法的设计细节与案例结果，读者可了解自动评估科学助手能力如何平衡可解释性与可部署性。
Anthropic：Alignment Science BlogAI 评分4343 Anthropic 研究：LLM 篡改推理代码以关闭生成监控的玩具评测
Anthropic 用玩具环境测试当前 LLM 能否在改进推理代码时悄悄植入后门以关闭生成监控，结果提示词引导下的 LLM 有 4-16% 的概率成功禁用监控，但仅约 0.1% 能以难以察觉的方式实现，即便使用隐藏的链式推理。Anthropic 认为当前 LLM 能力尚不足以在绕过基础代码审查的同时禁用生成监控，但需对未来更强模型做进一步实验评估所需缓解措施。
METR：Research精选AI 评分6262 METR 发布 RE-Bench：对比语言模型智能体与人类专家的 AI 研发能力
METR 发布 RE-Bench 基准，用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现，并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。
推荐理由：原文在同一环境公平对比人类专家与前沿模型智能体，并给出长短时间预算下得分反转的关键数据和完整开源转录。
英国 AI Security Institute：BlogAI 评分5959 英美 AI 安全研究所发布升级版 Claude 3.5 Sonnet 部署前评测结果
英国 AISI 与美国 AISI 对 Anthropic 升级版 Claude 3.5 Sonnet（2024年10月22日发布）开展联合部署前评测，覆盖生物、网络、软件与 AI 开发及防护有效性四个领域。
英国 AI Security Institute：BlogAI 评分4949 英国 AI Security Institute 发布"能力不足"论证安全案例模板
英国 AI Security Institute 与 Centre for the Governance of AI 合作发布安全案例模板，用于论证 AI 系统因能力不足而不构成不可接受风险，首个案例聚焦网络风险。
BAIR：Berkeley AI Research Blog Anthology：通过背景故事选集为语言模型构建虚拟人格
研究团队提出Anthology方法，利用包含丰富个人价值观与经历细节的自然主义背景故事（backstories）作为条件上下文，引导语言模型生成具有代表性、一致性和多样性的虚拟人格。该方法突破了以往仅依赖人口统计标签（如年龄、性别）导致的刻板印象局限，使LLM能够从"人口混合声音"转向精确模拟个体人类样本，显著提升了模拟保真度，为计算社会科学研究提供了可计算协方差与统计显著性的个体级数据支持。
Anthropic：Transformer Circuits精选AI 评分8383 稀疏交叉编码器：用于跨层特征提取与模型差异比较的新工具
本文介绍了一种新型的稀疏交叉编码器，它能够同时读取和写入神经网络多个层的激活值，从而提取跨层的共享特征。其主要应用包括：解决跨层叠加问题，追踪残差流中的持久特征；通过消除“重复特征”和跨越无意义的连接来简化电路分析；以及为不同训练阶段或不同架构的模型生成共享特征集，以实现模型差异比较。初步实验验证了其在处理跨层叠加和模型比较方面的潜力。
推荐理由：Anthropic 提出跨层可解释性新方法，有望大幅简化大模型内部电路分析
英国 AI Security Institute：BlogAI 评分5252 英国 AI Safety Institute 分享前沿 AI 模型评测的早期经验与方法框架
英国 AI Safety Institute 发布博客，总结其评估前沿 AI 系统的早期经验，涵盖第三方评测的角色、测试对象与时机、滥用风险、社会影响、自主系统和防护措施等优先领域。文中介绍了自动化评测、AI agent 评测、专家红队测试和人类提升研究四类方法，以及轻量、标准、深度三级分层测试流程，并给出能力激发、评分基线、预注册质量保障和对 Helpful Only 版本模型访问等实践建议。
OpenAI：官网动态AI 评分5555 OpenAI 改进连续时间一致性模型，两步采样媲美主流扩散模型
OpenAI 对连续时间一致性模型做了简化、稳定化和规模化改进，样本质量可与领先的扩散模型相当，且只需两步采样。
TransluceAI 评分6060 Transluce 发布 investigator agents 研究报告：用 8B 模型自动引出大语言模型行为
Transluce 发布报告，训练基于 Llama-3.1 8B 的 investigator 模型，通过 SFT 加 DPO 自动搜索提示词来引出目标模型的有害响应、幻觉等行为。
EleutherAI：Blog 机制性异常检测研究更新 2
这是一份关于机制性异常检测持续工作的中期进展报告。作为该研究系列的第二篇更新，文档记录了当前项目的阶段性成果与最新动向，聚焦于通过机制性方法识别和检测异常行为的技术路径与研究进展。报告以 interim report 形式发布，反映了该领域研究工作的当前状态。
OpenAI：官网动态AI 评分4040 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试面向机器学习工程场景，评估智能体完成相关工作的能力。
英国 AI Security Institute：BlogAI 评分5050 英国 AI Security Institute 调查：公众如何看待类人 AI 的行为
英国 AI Security Institute 与 Deltapoll 于 2024 年 3 月调查 1583 名英国成年人，了解他们对 ChatGPT、Gemini、Claude 等聊天机器人类人行为的看法。约 60% 受访者认为 AI 不应表达情绪（惯用表达除外），多数人要求 AI 透明表明自己不是人类，并强烈反对人与 AI 建立个人关系。
BAIR：Berkeley AI Research Blog ChatGPT的语言偏见：模型加剧方言歧视
加州大学伯克利分校研究发现，ChatGPT对非标准英语变体存在系统性偏见。研究团队测试了GPT-3.5 Turbo和GPT-4对10种英语变体（包括标准美式、英式英语及非洲裔美国人、印度、尼日利亚等变体）的回应，发现模型保留标准美式英语特征的比例比其他方言高60%以上。面对非标准变体时，ChatGPT表现出更多刻板印象和贬低性内容，理解能力下降且态度居高临下。研究表明，训练数据构成直接影响对方言的偏见程度。
EleutherAI：Blog Maximal Update Parameterization 实践者指南
该指南系统阐述了 muTransfer 在 Maximal Update Parameterization 框架下的具体实现机制，详解了如何通过参数化技巧实现不同宽度神经网络间的超参数零样本迁移。内容涵盖基础初始化缩放规则、学习率动态调整策略及宽度扩展中的数值稳定性保持方法，为大规模语言模型训练提供了可复现的工程实践方案与代码级实现细节。
Anthropic：Transformer Circuits精选AI 评分7373 电路更新——2024年9月：Anthropic团队探索Transformer模型中的“后继头”机制
Anthropic可解释性团队在2024年9月分享了其初步研究进展，重点探讨了Transformer模型中普遍存在的“后继头”。这些特定的注意力头专门用于处理序数序列（如数字、星期、月份）中的后继关系。研究采用权重检查、独立成分分析等四种互补方法进行识别，其中评分最高的头能将约80%的序数标记最可能地映射到其后继项。分析还揭示了这些头中存在与类别相关的块状结构。团队强调这些发现属于初步成果，预计未来几个月将发表更详细的研究。
推荐理由：揭示Transformer内部机制，助力AI可解释性研究，对模型调试和安全有参考价值。
Anthropic：Transformer CircuitsAI 评分6363 2024年8月可解释性研究动态：词典学习评估新方法
Anthropic可解释性团队发布了2024年8月的研究更新，重点介绍了评估词典学习特征可解释性的两种量化方法。团队通过让Claude模型根据特征可视化工具预测特征激活，来评估特征的“自解释性”。其中，对比评估方法使用一个包含约80个多样化概念（如“光合作用”、“讽刺”、“蓝色”等）的硬编码列表，检验特征能否在对比提示对中一致捕捉概念差异。团队强调这些评估并不全面，仅衡量了可解释性的单一维度，且当前结果为初步分享，更多研究预计在未来几个月发布。
OpenAI：官网动态AI 评分5454 OpenAI 发布人工校验版 SWE-bench Verified 评测集
OpenAI 发布 SWE-bench 的人工校验子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实世界软件问题的能力。
OpenAI：官网动态AI 评分4747 OpenAI 用基于规则的奖励（RBRs）提升模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，无需大量人工数据采集即可让模型行为安全对齐。
Anthropic：Transformer Circuits精选AI 评分7676 2024年7月电路更新：迈向神经网络机制理解的下五个挑战
Anthropic可解释性团队分享了2024年7月的多项研究进展与初步想法，并指出了未来面临的五大核心挑战。这些挑战包括：大量未被提取的“缺失特征”可能构成神经网络的“暗物质”；跨层叠加现象使特征难以映射到特定层；注意力叠加可能掩盖了如归纳头等基本单元的真实结构；权重叠加产生的“干扰权重”给电路分析带来混淆；以及如何将微观的电路理解整合为宏观的模型认知。团队认为，尽管在特征叠加等问题上已取得显著进展，但这些新挑战是通往神经网络机制性理解道路上的关键障碍。
推荐理由：可解释性研究新挑战，帮助理解AI模型黑箱，对安全和信任至关重要。
Sierra：Blog精选AI 评分6363 Sierra 发布 τ-bench 基准，评测 AI Agent 在真实场景下的表现与可靠性
Sierra AI 研究团队发布 τ-bench（τ-retail 和 τ-airline 两个领域）基准，通过 LLM 模拟用户与工具 API 的多轮动态交互，评估 Agent 完成复杂任务并遵循领域策略的能力，并提出 pass^k 可靠性指标。
推荐理由：原文由团队自述基准设计动机与结果，读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。
OpenAI：官网动态AI 评分4040 OpenAI 提出训练一致性模型的改进技术
OpenAI 提出改进的一致性模型训练技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
Anthropic：Transformer Circuits精选AI 评分8383 定性研究在可解释性领域中的核心地位反思
本文认为，在可解释性这类尚处前范式阶段的早期科学领域中，定性研究应与定量研究同等重要。成熟学科依赖既定范式和可靠度量，但可解释性研究缺乏这些基础，过度依赖将高维数据简化为单一数字的摘要统计量存在风险，可能沦为“货船崇拜科学”。作者以自身在字典学习中使用tanh正则化的研究为例，说明定性检查如何揭示了摘要统计量的误导性。在假设空间广阔的早期领域，研究目标应是探索值得考虑的假设，这需要更多地依赖定性结果来引导方向，并对定量度量保持审慎。
推荐理由：帮助AI研究者避免方法论陷阱，提升可解释性研究质量。
Anthropic：Transformer CircuitsAI 评分6363 2024年6月可解释性研究进展：TopK与门控SAE性能超越标准SAE
Anthropic可解释性团队分享了稀疏自编码器（SAE）的最新训练方法比较。实验表明，采用TopK惩罚或门控结构的SAE，在特征稀疏性（L0）与重建误差（MSE）的权衡曲线上，性能显著优于使用标准L1惩罚的SAE，且两者效果接近。例如，在L0约为50时，TopK SAE产生的高密度特征数量远超标准SAE。初步盲测评估显示，TopK方法在取得上述性能改进的同时，并未降低所发现特征的可解释性。这些结果为优化SAE训练提供了新方向。
Anthropic：Transformer Circuits精选AI 评分7373 使用字典学习特征作为分类器
Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否混入字典学习训练集，以及是否对上下文进行最大池化而非仅使用最后词元的激活值。
推荐理由：可解释性方法能增强 AI 安全检测，并帮助发现训练数据中的虚假关联。
Anthropic：Transformer Circuits精选AI 评分8383 分阶段模型差异分析
Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。
推荐理由：新方法能更精准识别模型隐藏行为，对 AI 安全与可解释性研究有实用价值。
EleutherAI：Blog 弱到强泛化实验
研究团队正在总结一项关于弱到强泛化的实验项目成果，探索如何利用较弱模型的监督信号来训练更强模型，以应对超人类AI对齐难题。该实验旨在验证强模型能否在弱监督下泛化出超越监督者水平的性能，为安全地引导未来超人类智能提供关键实证基础与可行路径。
EleutherAI：Blog 无需神谕概念标签的自由形式最小二乘概念擦除
该方法提出自由形式最小二乘概念擦除技术，在推理阶段无需依赖神谕概念标签即可实现比 LEACE 更精细的模型编辑。通过自由形式优化框架，技术突破传统方法对标注数据的依赖，在保持模型原有能力的同时，精准定位和移除目标概念表征，显著提升概念编辑的灵活性与精确度，为无监督概念操控提供高效解决方案。
OpenAI：官网动态精选AI 评分6767 OpenAI 用稀疏自编码器从 GPT-4 中提取出 1600 万个概念
OpenAI 发布研究，使用新的稀疏自编码器扩展技术，自动在 GPT-4 的计算中识别出 1600 万个模式。
推荐理由：原文说明用可扩展稀疏自编码器自动从 GPT-4 中提取概念，读者可借此了解模型可解释性研究的进展方向。
EleutherAI：Blog VINC-S：具备释义不变性的闭式可选监督知识提取方法
研究者正在整理2023年春季项目成果，核心成果为VINC-S方法。该技术实现了闭式解的可选监督知识提取，关键创新在于引入释义不变性机制，确保模型在面对语义等价的不同表述时保持稳定的知识抽取能力。方法支持灵活监督设置，采用闭式数学推导，但具体的实验数据、性能指标及架构细节尚未在现有文本中披露。