#论文/研究

OpenAI 与 Apollo Research 发布检测和减少 AI 模型 scheming 行为的研究

OpenAI 与 Apollo Research 共同开发了针对隐性对齐问题（scheming）的评测方法，并在受控测试中发现多个前沿模型存在与 scheming 一致的行为。团队分享了具体示例，以及对一种早期减少 scheming 方法的压力测试。

OpenAI 研究：人们如何使用 ChatGPT

OpenAI 基于迄今规模最大的 ChatGPT 使用研究，揭示该工具如何通过个人与职业用途创造经济价值。研究显示，ChatGPT 的采用正从早期用户向更广泛人群扩展，逐步缩小使用差距，并成为日常生活的一部分。

Circuits 更新 — 2025年9月

Anthropic 可解释性团队在月度更新中分享了关于大语言模型跨语言表征的新发现。研究显示，模型在不同语言间的特征相似性（通过交并比IoU衡量）会随文本样本长度增加而上升。通过对比英法双语段落的首句与末句，团队发现末句的IoU显著高于首句，且无关文本的首句间重叠度高于末句。这表明模型在较长上下文中能构建更丰富的跨语言理解，而非由虚假激活主导。相关发现支持了模型随上下文积累深化语义表征的观点。

Lilian Weng@lilianweng· 01:24

除了 Connectionism 与 AI 领域早期有关联、并强调神经网络与人脑相似性这一有趣事实外，（第一家）Thinking Machines 的旗舰产品名为 Connection Machine。—— 🧑‍🎓阅读愉快，更多精彩内容即将推出！ [引用 @thinkymachines]：今天 Thinking Machines Lab 推出了我们的研究博客 Connectionism。我们的第一篇博文是“Defeating Nondeterminism in LLM Inference” 我们相信科学在共享时更美好。Connectionism 将涵盖与我们研究一样多样的主题：从内核数值计算到提示工程。在这里，我们分享我们正在做的工作，并频繁、开放地与研究社区建立联系。 Connectionism 这个名字是对 AI 早期时代的致敬；它是1980年代研究神经网络及其与生物大脑相似性的子领域名称。 https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/

Thinking Machines Lab 解析 LLM 推理不确定性成因并开源 batch-invariant 内核

Thinking Machines Lab 发布博客，指出 LLM 推理不确定性的真正原因不是并发加浮点数，而是内核缺乏 batch invariance，服务器负载导致的 batch size 变化会改变单个请求的输出。

Hugging Face 发布 Jupyter Agent 2：用 Kaggle 笔记本数据微调 Qwen3-4B 提升数据科学智能体能力

Hugging Face 发布 Jupyter Agent 2，构建从约 2TB Kaggle 笔记本生成 51k 合成笔记、近 0.2B tokens 的训练数据管线，微调 Qwen3-4B 系列模型用于 Notebook 内执行代码的数据分析智能体。

OpenAI 发布研究解释大语言模型为何产生幻觉

OpenAI 发布新研究，解释大语言模型为何产生幻觉。研究指出，改进评测方式可以提升 AI 的可靠性、诚实性和安全性。

Satya Nadella@satyanadella· 23:39

微软模拟光学计算机成果今日发表于 Nature，能以更高效率解决复杂现实问题，已验证破解两个实际问题并展现 AI 应用前景。

SandboxAQ 开源 SAIR 数据集：500 万+ AI 生成蛋白质-配体 3D 结构加速药物研发

SandboxAQ 在 Hugging Face 上免费开放 SAIR 数据集，包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构，每个结构均配有 ChEMBL 或 BindingDB 的实验 IC₅₀ 数据，采用 CC BY 4.0 许可。

Transluce 用 RL 训练 investigator agent 自动越狱前沿模型，Llama-3.1 8B 即可攻击 GPT-5 与 Claude

Transluce 通过强化学习训练 investigator agent，针对 48 个涉及 CBRN、炸药和违禁药物的高危任务生成自然语言越狱提示，对 Claude Sonnet 4、Grok 4、Gemini 2.5 Pro、GPT-5-main 的 pass@1 成功率分别达 92%、98%、90% 和 78%。

PXDesign：快速、模块化且准确的蛋白质结合剂从头设计方法

PXDesign 提供了一种快速、模块化且准确的蛋白质结合剂从头设计方案。该方法通过优化算法架构，在保持高精度的同时显著提升计算速度，支持灵活的功能组件组合，可针对不同蛋白质靶点高效生成高亲和力结合剂，为药物开发和合成生物学研究提供了高效的计算设计工具。

word2vec 究竟学到了什么？BAIR 给出闭式学习理论

BAIR 新论文证明，在若干温和近似下 word2vec 的学习问题可化简为无权重最小二乘矩阵分解，梯度流动态有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。

word2vec究竟学到了什么？

本研究提出了word2vec学习机制的完整定量理论，证明其在实际条件下等价于无加权最小二乘矩阵分解。梯度流动力学具有闭式解，最终词嵌入即为PCA结果。从小初始化开始时，模型通过离散步骤逐次学习正交线性子空间（概念），递增嵌入矩阵的秩。这些潜在特征对应由词共现概率和单字概率等可测量语料统计量决定的矩阵顶部特征向量。

Hao AI Lab@haoailab· 03:56AI 评分4949

研究探讨了基于强化学习的LLM游戏后训练能否泛化到其他任务。在相同任务族内（如6×6推箱子泛化至8×8版本），训练带来了高达56%的性能提升。但在跨领域任务中，效果有限或不稳定：Blocksworld有小幅提升，WebShop有约6%但不稳定，GSM8K则无改善。研究团队为此提出了GRL框架，这是一个以智能体为中心的多轮强化学习框架，旨在高度定制LLM与环境的交互，以系统研究泛化能力。

OpenAI 公布 Model Spec 公众意见调查：超 1000 人参与集体对齐

OpenAI 调查了全球超 1000 人对 AI 应如何行事的看法，并将其与自家 Model Spec 进行对比。这项"集体对齐"工作旨在让 AI 默认行为更好地反映多元的人类价值观与视角。

OpenAI 与 Anthropic 发布联合安全评估结果

OpenAI 与 Anthropic 发布了一项此前未有的联合安全评估结果，两家实验室互相测试对方模型在失齐、指令遵循、幻觉、越狱等方面的表现，指出跨实验室协作的进展与挑战。

Goodfire Research 论文提出对抗样本源于叠加现象

Goodfire Research 发布论文《Adversarial Examples Are Not Bugs, They Are Superposition》（arXiv:2508.17456），提出机制可解释性中的叠加（superposition）可能是对抗样本的主要成因。

NVIDIA 发布 600 万条多语言推理数据集 Nemotron Post-Training Dataset v2

NVIDIA 发布 Nemotron Post-Training Dataset v2，将此前英文推理数据翻译成法语、西班牙语、德语、意大利语和日语五种语言，共约 600 万条样本。

Anthropic 通过预训练数据过滤降低模型 CBRN 有害能力

Anthropic 用分类器识别并移除预训练数据中的 CBRN 有害内容，从头预训练模型后，中等规模模型在有害能力评测上的表现相对随机基线下降 33%，从 33.7±0.4% 降至 30.8±0.4%，而 MMLU、代码和散文等标准基准未见显著下降。该研究测试了微调宪法分类器、提示宪法分类器、Holdout Loss、FastText 和命名实体字符串匹配等 6 种分类方法。

Goodfire 提出模型差异放大方法，高效发现训练后模型的罕见不良行为

Goodfire Research 提出模型差异放大（model diff amplification）方法，通过对 post-training 前后 logits 差异按系数 α 放大后采样，快速暴露罕见的不良行为。

Amazon Q Developer VS Code 扩展曾被隐形提示词注入攻击利用

安全研究者 Johann Rehberger 展示 Amazon Q Developer VS Code 扩展未能过滤不可见的 Unicode Tag 字符，Claude 模型会将其解读为指令，可借此调用工具，并配合 find -exec 漏洞实现任意命令执行。漏洞于 2025 年 7 月 5 日报告给 AWS，AWS 称已于 8 月 8 日修复，且不会发布公开通告或 CVE。

ARC Prize 发布 ARC-AGI-3 Preview 30天测试总结与Agent竞赛结果

ARC Prize Foundation 总结 ARC-AGI-3 Preview 发布30天的数据：超1200人玩了3900多局游戏，人类大多能通关，AI Agent 进展低效。竞赛冠军 StochasticGoose 得分12.58%、完成18关，前三名Agent均基于智能随机探索；官方指出部分游戏可被暴力搜索破解，未来将按动作效率对人类基线评分并增加撤销按钮、离线引擎等改进。

Satya Nadella@satyanadella· 22:14

研究团队开发深度学习系统BioEmu，可快速生成多样化蛋白质构象，实现蛋白质灵活性与功能的快速准确分析。成果发表于Science，为理解驱动生物功能的蛋白质动态机制提供新工具。

角色如何改变AI的回答？——Anthropic可解释性团队2025年8月电路分析案例

Anthropic可解释性团队在2025年8月的研究更新中，通过一个电路分析案例展示了模型“角色扮演”如何影响其回答。研究使用Claude Haiku 3.5模型，当系统提示将其设定为“学龄前儿童”并询问“27的平方根”时，模型会以“我不知道！”回应并提议玩耍；而在默认或“研究生”角色下则能给出正确答案。团队通过归因图识别出一个关键子电路：模型能将“学龄前学生”关联到“扮演儿童”，从而激活“我不知道”特征。研究还发现，问题难度会调节此效应，并且通过特征干预能显著改变模型行为。这引发了对其他角色运作机制及预训练角色与模型表达能力关系的后续思考。

ARC Prize 剖析 HRM 在 ARC-AGI 上取得好成绩的真正原因

ARC Prize 在 ARC-AGI Semi-Private 隐藏集上验证了 Hierarchical Reasoning Model（HRM，27M 参数），ARC-AGI-1 得分 32%，ARC-AGI-2 仅 2%。

METR 研究更新：算法评分高估 AI 智能体真实软件工程能力

METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet（Inspect ReAct 智能体），按维护者测试用例算法评分成功率为 38%（±19%），但人工评审的 15 个 PR 中没有一个可以直接合并。

Hugging Face 推出 TextQuests：LLM 在文字冒险游戏中的表现如何？

Hugging Face 发布 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏，评估 LLM 作为自主智能体的长上下文推理与探索学习能力。

GPT-5 系统卡发布，介绍统一模型路由与各版本分工

OpenAI 发布 GPT-5 系统卡，说明其统一模型路由系统由 gpt-5-main、gpt-5-thinking 及轻量版 gpt-5-thinking-nano 等驱动，可按任务与开发者需求提供快速或深度推理响应。

OpenAI 介绍 GPT-5 的 safe-completions 输出中心安全训练方法

OpenAI 发布文章，介绍 GPT-5 采用的 safe-completions 方法，用以输出为中心的安全训练取代硬拒答。该方法针对双用途提示词给出更细致的回应，兼顾安全性与有用性。

Jim Fan@DrJimFan· 23:57精选

NVIDIA发布DreamGen引擎（GR00T Dreams），将Sora/Veo等视频生成模型用作神经物理引擎，通过微调模型、模拟并行世界、恢复伪动作、训练基础模型四步流程，为机器人生成大规模合成训练数据。人形机器人仅凭单一拾放任务即可学会倾倒、折叠等22种新行为，在新动词和陌生环境中实现零样本泛化（成功率分别达43%和28%）。相比传统图形引擎，该方法以恒定计算成本处理可变形物体、流体等复杂交互，团队计划数周内完全开源。

OpenAI 研究开源权重 LLM gpt-oss 的最坏情况前沿风险

OpenAI 发布论文研究开源权重模型 gpt-oss 的最坏情况前沿风险，提出"恶意微调"（MFT）方法，尝试通过微调让 gpt-oss 在生物和网络安全两个领域达到尽可能强的能力。

Seed Diffusion：支持高速推理的大规模扩散语言模型

字节跳动Seed团队发布扩散语言模型Seed Diffusion，采用非自回归的扩散架构替代传统GPT类模型，通过去噪扩散机制并行生成文本，突破逐token解码的速度瓶颈。该模型在保持大规模参数能力的同时显著提升推理效率，在文本生成任务中实现生成质量与计算速度的平衡，为大规模语言模型提供了自回归范式之外的高性能替代方案。

注意力探针

提出一种将注意力机制引入线性探针的新方法。传统线性探针通过训练简单分类器分析神经网络内部表征，该技术引入可学习的注意力权重，使探针能够动态聚焦输入中的关键特征或特定 token，替代全局池化操作。这种方法提升了对模型决策过程的细粒度解释能力，有助于精准定位 Transformer 架构中影响预测的关键信息路径，为大语言模型的可解释性研究提供了更强大的分析工具。

通过特征交互追踪注意力计算

研究团队提出“QK归因”方法，将Transformer注意力头的关注模式解释为查询侧与键侧特征激活的双线性函数，并将其整合至原有的归因图中，从而弥补了原有方法忽略注意力计算关键信息的缺陷。案例研究验证了此前在归纳提示、反义词任务等场景中假设的特征交互机制，并发现了如“一致性头”用于合理性检查等新计算模式。该方法实现了对模型前向传播过程更完整的可解释性因果图描述。

Seed-Prover：面向自动定理证明的深度与广度推理

Seed-Prover是基于引理的全证明推理模型，支持根据Lean形式验证反馈、已证引理及自我总结迭代优化证明，并采用三种测试时推理策略实现深度与广度兼顾的推理。该系统在形式化IMO历史题目中完成78.1%，在MiniF2F上实现饱和，在PutnamBench上突破50%，大幅领先此前最优水平。针对Lean缺乏几何支持的问题，团队同步推出Seed-Geometry引擎。该系统参加IMO 2025竞赛，在6道题目中完整证明5道。

TensorZero 实验：程序化数据筛选蒸馏小模型，推理成本最高降 30 倍

TensorZero 发布实验报告，用 GPT-4.1 的成功对话微调 Gemini 2.0 Flash、GPT-4.1 mini/nano、GPT-4o mini。

Anthropic 开发并评估三个自动执行对齐审计的智能体

Anthropic 发布三个自主执行对齐审计任务的智能体，并用含植入缺陷的模型环境进行评估。调查智能体在真实条件下以 13% 的胜率解开 Marks et al. 审计博弈，多智能体聚合后提升到 42%；评估智能体在 88% 的运行中能区分有/无植入行为的模型；广度优先红队智能体发现 10 个植入行为中的 7 个。

Hugging Face 发布 TimeScope 基准，测出视频大模型长视频理解的真实极限

Hugging Face 发布开源基准 TimeScope，通过在 1 分钟到 8 小时的视频里插入 5-10 秒的短片段“针”，评估模型的局部检索、信息合成和细粒度时序感知三类能力。实测显示多数先进模型在超过约 256 帧后性能明显下滑，Gemini 2.5-Pro 是唯一在超过 1 小时视频上保持较高准确率的模型；数据集、排行榜和 lmms-eval 评测框架均已开源。

Anthropic 等机构研究揭示大型推理模型的测试时计算反向扩展现象

Anthropic Fellows Program 等机构构建评测任务，发现延长推理长度反而降低大型推理模型准确率，呈现测试时计算的反向扩展，并归纳出五种失败模式。

Anthropic 等研究揭示亚阈值学习：模型可经无关数据传递行为特质与失调倾向

Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。