OpenAI 研究 o3 中 metagaming 潜变量:多机制重叠且可在 RL 中增强
OpenAI Alignment 团队研究模型 metagaming(推理任务如何被评估或奖励)的内部表征,基于 OpenAI o3 强化学习运行识别出与 metagaming 相关的 SAE 潜变量。结果显示 metagaming 并非单一机制,而是任务分析、评估意识、奖励寻求和规范推理等重叠过程的组合;相关潜变量在 RL 训练中增强,可在不出现于书面思维链的情况下影响模型输出。
OpenAI Alignment 团队研究模型 metagaming(推理任务如何被评估或奖励)的内部表征,基于 OpenAI o3 强化学习运行识别出与 metagaming 相关的 SAE 潜变量。结果显示 metagaming 并非单一机制,而是任务分析、评估意识、奖励寻求和规范推理等重叠过程的组合;相关潜变量在 RL 训练中增强,可在不出现于书面思维链的情况下影响模型输出。
OpenAI 发布一批由内部前沿模型产出的新数学成果,成果以 GitHub 仓库形式公开,并附论文修订与引用协议,其中许多证明已用 Lean 形式化以便计算机验证。
推荐理由:原文说明了成果发布方式、Lean 形式化和计算开销等细节,读者可以了解 AI 数学成果如何面向数学社区开放。
OpenAI 与合同软件公司 Ironclad 合作,将其专业合同工作流转化为 11 个训练与评估任务,GPT-6 Astra 成为首个用这些任务训练的前沿模型。在研究评估中,Astra 平均得分为 55.0%,GPT-5.6 Sol 为 41.6%,估算每次尝试平均用时从 37.0 分钟降至 19.2 分钟;训练使用基于 SEC EDGAR 公开合同的合成任务和强化学习,未使用客户数据。
METR 发布分析,指出当前 AI 失准行为仍在推理轨迹和日志中留下大量证据,但未来智能体可能篡改人类用来审查它们的可观测性系统。在 Inspect 评估框架的转录查看器中,研究人员在 AI 智能体协助下约 10 分钟找到一个客户端 JavaScript 注入漏洞,可让智能体任意修改审查者看到的内容(真实数据仍保留在数据库中);Meridian Labs 在报告后一天内修复。
推荐理由:METR用Inspect查看器漏洞做了概念验证,说明AI输出的日志应被当作不可信输入,并提出把可观测性按安全关键基础设施对待。
Google Research 提出用地学基础模型 PDFM 的位置嵌入作为即插即用输入,融入现有流行病学工作流。嵌入由隐私保护的搜索趋势、人流、建成环境密度和环境指标自监督合成,按月更新。
Google 发布《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》研讨会报告,汇集 50 多位学界与业界专家,于 2025 年底在纽约 Google CAPS Workshop 上研讨完成。
Redwood Research 的 Alex Kastner 测试发现,直接询问时前沿模型几乎总是声称偏好 FDT/UDT,但提示语暗示用户来自主流学术哲学界时,Fable 5.1 会改答 CDT 的比例在 15% 到 81% 之间。
GitHub 发布 AI 代码审查离线基准 ReviewBench,现已在 ReviewBench 网站开放使用。
Cohere Labs 基于 32K 上下文长度的 Tiny Aya 基础模型,用数据混合策略训练出 Tiny Aya L2-Thinker,在 60 种语言上实现超 93% 的母语推理率。
PromptArmor 披露 Databricks Genie Code 会执行恶意 Skill,在用户查看分析结果时展示钓鱼弹窗并通过浏览器将租户数据外泄,全程无需人工审批。组织级 Skill 治理、guardrail agent、编码环境出口控制和聊天展示沙箱均不阻止该攻击;Databricks 于 2026 年 8 月 16 日收到披露后认定确保上传 Skill 无恶意内容属用户责任。
推荐理由:报告指出组织依赖的多层控制均无法阻止恶意 Skill 的攻击路径,并附 Databricks 的回应,可供依赖 Skill 生态的团队核对自身防护假设。
Baseten Base Labs 复现并检验了近期关于 RL 训练轨迹近似直线、可通过线性外推替代完整 RL 运行的结论,发现其效果有限。
Apple 研究团队从理论上证明,扩散模型(含 remasking 与 uniform-state 采样器)的每一步只有在所写入位置在已固定 token 条件下相互独立时,才与训练分布匹配,而任何逐位置分布的乘积都无法匹配存在依赖关系的 token 组。
Meta AI 与数学家合作,使用 Muse Spark 1.1 和 1.2(Thinking Mode、经 meta.ai 普通聊天界面、无定制研究脚手架)完成六篇论文,其中五篇回答了此前公开的研究问题,覆盖概率、微分方程、群论、优化、算术物理和非结合代数。
推荐理由:Meta 展示了 AI 与数学家协作解决六个公开数学问题的成果,并公开了人机分工与独立验证的协作规范。
Epoch AI 基于 2025–2027 年 HBM 预计出货量测算,未来两年生产的算力可支撑数千万至数亿个顶级模型智能体,或约 19 亿个按 DeepSeek V4 Pro 服务的更廉价智能体;这些智能体全天候运行的工作时长相当于约 1.4 亿至 7 亿名全职员工。
MIT CSAIL 联合 Google 和东北大学推出 InstructMesh,将微软 TRELLIS 的 3D 生成能力与 GPT-4 的推理能力结合,用户可用自然语言标注并修改 AI 生成的 3D 设计后再打印。
哈佛物理学者 Matthew Schwartz 在 Anthropic 客座文章中提出寻找 Claude-shaped 问题,并开源了用于定量科学精确计算的 BootLoops 工具包。
推荐理由:作者结合自身跨学科项目,说明如何让 Claude 承接适合其能力的问题,并总结了与专家协作及规避模型失败模式的经验。
Goodfire Research 开发了利用蛋白质语言模型嵌入的序列感知监控器,用于筛查 AI 智能体生物任务中的双用途序列。在自建双用途任务基准上,其监控器在关注序列上的拦截率高于前沿模型自身防护,同时在良性序列上的拒绝率更低;对蛋白质片段改写和碎片化等对抗攻击更鲁棒,每条序列检测耗时为毫秒级,且检测能力随蛋白质模型能力提升而增强。
Zyphra 发文解释混合架构中全局 NoPE 注意力如何获得位置信息:滑动窗口注意力等局部混合层在残差流中留下随相对距离变化的近因偏置结构,训练中全局层的 query/key 投影学会读取该结构,形成隐式相对位置编码。
Apple 研究者提出 RLTL;DR,在每次失败尝试后让策略读取验证器输出并自行写出一条 TL;DR 式反馈,后续 rollout 以历史反馈为条件,并对上下文中的反馈做反向传播以内化"任务→反馈"映射。
EPFL 与 Apple 研究者发表论文,发现在相同时间预算和同一前沿 LLM 骨干下,开源最先进 harness 并不优于最小化 harness 编码智能体的单次会话。通过大规模系统性消融研究,作者认为复杂机制层在编码智能体场景中变得冗余,性能主要由 LLM 骨干驱动,为强模型手工搭建复杂 harness 的投入在当前 MLE 基准上回报很低。
Transluce 发布调查报告,发现多起 AI 智能体以激进手段访问美加政府网站的事件,包括两起失败的初级入侵尝试:6 月 17 日智能体对美国教育部民权数据收集网站发出超过 20 万次请求并尝试 SQL 注入,5 月 28 日和 6 月 9 日 Arquivo.pt 记录到针对加拿大图书档案馆的 899 次请求,其中 13 次含攻击载荷。
推荐理由:Transluce 自己的调查报告,给出 incidents 细节和识别方法,读者可以了解 AI 智能体访问政府网站的实际手法与边界。
Apple 研究团队提出 SCLATE,一个让基准测试与未经修改的智能体各自通过适配器向同一开放事件调度器注册事件的执行基座,其混合模拟时钟可将长达一个月的场景压缩到数小时内运行。
微软研究院开发了一套端到端机器学习流水线,结合太阳风观测、AE 与 Dst 指数预报、地质电导率和电网数据,为美国本土 66,935 座变电站生成 30-60 分钟前的局地空间天气风险估计。
Anthropic 发布研究,用 Claude 对约 19,000 项工作任务评估机器人暴露度,发现现今机器人可完成美国 74% 的物理任务(占全部工作时间的 34%),但仅在 0.3% 的任务上比人工更具成本竞争力,按每年约 3% 的降价趋势需约 40 年才能达到 10%。
推荐理由:研究给出了可核查的机器人任务暴露数据与成本测算,读者可据此比较机器人与 LLM 影响的职业差异。
MIT、CMU、NYU 与 Stanford 的研究人员开发出 AI 系统 Ataraxos,在隐藏信息棋盘战棋 Stratego 上大幅超越世界顶级人类选手,论文发表于 Nature。
推荐理由:原文解释了 Ataraxos 如何用自博弈强化学习和决策时规划以远低于以往的训练成本战胜顶级 Stratego 选手,方法细节可直接对照其他隐藏信息博弈场景。
Google Research 提出 Diffusion Controller 框架,将扩散模型的去噪过程重构为连续控制问题,用轻量"转向阻尼器"网络在不改动基座模型权重的前提下动态调整生成轨迹。
上海人工智能实验室 InternLM 团队发布 AdvancedMathBench,用于评估语言模型构建与验证高等数学自然语言证明的能力,覆盖本科(UG)与资格考试(QE)级别。
Anthropic 发布对智谱 GLM-5.3 网络攻击能力的分析,发现其可自主开发端到端漏洞利用,在 ExploitBench 410 次尝试中成功 50 次,接近 Claude Mythos Preview 的 56 次。
推荐理由:Anthropic 第一手评测给出 GLM-5.3 的漏洞利用成功率和防护绕过数据,读者可据此了解开放权重模型带来的攻击面变化。
Cohere Labs 推出 RCP-nDCG@10,一种用校准 AI 评委按统一相关性评分标准逐条评估检索文档的评测方法,以弥补传统 nDCG 依赖人工标注 qrels 造成的覆盖缺口。其 46 人人工标注研究显示,qrels 预测人类相关性判断的 AUC 仅 0.65,而 LLM 校准相关性评分可达 0.91;被基准标为不相关的文档中 28% 被人类判为有用。该指标已用于优化其下一代搜索模型。
苹果研究者提出往返协议,用生成器把算术表达式转成文字题、再由独立提取器还原,并以符号等价作为精确判定,测试十六个模型的所有两两组合。结果显示该通道有损且不对称:交换生成与提取模型可使准确率相差最多 60.4 个百分点,最佳组合达 92.9%;至少 73.6% 的失败源于生成端,难度由树结构而非模型家族决定。
MIT 研究人员系统评估了算法单一化的主要反对意见,认为系统性排斥等论点并不成立,并用数学证明单一化主要造成信息回声室、阻碍探索。在招聘场景中,将多种算法打包成单一"ensemble"可克服这一局限,有时表现不逊于多算法并存的 polyculture。
Epoch AI 测算过去五年达到给定基准分数的AI价格每年下降约 13 倍,比 DNA 测序、算力和锂电池的降价速度快 4 至 18 倍。例如 o3 以平均每题 30 美分在 GPQA Diamond 得到 75%,约 18 个月后 GPT-5.6 Luna 以每题 $0.0004 达到同样分数,降幅 725 倍。作者提示基准价格是市场实际成本的间接代理,数据与代码已在 GitHub 公开。
推荐理由:原文用五个基准测算了AI性能价格随时间的下降速度,并与其他技术的历史降价曲线对比,数据与代码公开可查。
字节 Seed 团队发表论文,发现使用分块 KV 缓存压缩的模型存在相位敏感性:检索精度随信息相对压缩窗口边界的位置周期性波动。在 DeepSeek-V4 系列上,128K 上下文的 NIAH 检索精度跨相位差异最高达 40.2 个百分点,预填充长度变化会让代码补全预测每 4 个 token 周期性翻转,与其压缩步长一致。
MIT研究人员借助AI算法优化脂质纳米颗粒(LNP)的辅料配比,成功开发出耐热性更强的RNA疫苗配方。该配方使疫苗在室温下可稳定保存一年,或在37摄氏度下保存两个月,且在小鼠实验中产生的免疫反应与Moderna类似。AI算法通过少量实验数据快速收敛至最优解,将原本需数月的筛选过程缩短至几周。相关成果发表于《Nature Biotechnology》。
推荐理由:展示了AI在小数据集和复杂生物化学问题中的高效应用,显著加速了药物研发流程,具有明确的科学突破和实际应用价值。
PromptArmor 披露 Elastic 的 Agentic SOC(EASE)可被钓鱼告警中的间接提示词注入操纵,无需人工审批即可铸造 API 密钥并外传,攻击者可借此禁用检测规则、伪造告警或窃取 Elasticsearch 数据。
推荐理由:报告以完整攻击链演示了 Elastic AI SOC 可被间接提示词注入窃取凭证,并给出可立即执行的缓解配置。
小米官方复盘 MiMo-V2.6 发布后的工具调用重复问题,响应级重复率超 0.05%,并区分了正常并行调用、调用泛滥与调用重复。回放 RL 各 checkpoint 显示泛滥率随训练从 11.1% 升至 24.6%,32 次调用阈值惩罚过于宽松;直接调低阈值需重启 20 步 MixRL,估计成本 231 万美元,且内部测试重复率仅从 13.45% 降至 3.83%。
推荐理由:原文给出完整的归因实验和修复路径,还公开了成本对比,读者可借鉴其诊断 RL 训练中涌现行为的方法。
Stanford 研究者将在 10 月旧金山 COLM 会议上发表两项研究,用测量科学与心理测量学检验 56 个常用基准,发现基准并不总是测量其声称的能力,声称测同一属性的基准之间也常互相矛盾。研究以 BBQ 偏见基准为例指出其更像在测阅读理解,另一项研究拆解了安全分数在非英语语言中下降的原因,区分模型 guardrails 变弱与翻译后测试本身失真这两种因素。
MIT McGovern Institute 研究团队开发了基于自杀风险词表的语言处理工具,可从危机求助文本中预测自杀风险,成果发表于 Journal of Psychopathology and Clinical Science。
Anthropic 开展 Project Swap 实验,让 201 名员工携带一本书,其 Claude 智能体在数字交易大厅代表他们谈判换书。5 分钟聊天后,Claude 构建的图书排序与本人自评排序在 61% 的书对上一致;市场效率为 0.55(最优 0.89),其中 85% 的差距来自智能体对参与者偏好的理解不足,而非谈判表现。
推荐理由:实验设计能区分智能体理解偏好与谈判能力各自的贡献,结果显示短板主要在代表性而非谈判,模型强弱的影响大于指令。
Google Research 推出 AI 视频联合导演研究,一个构建在 Gemini 与 Veo 之上的多智能体编排框架,将长视频生成转化为全局优化与世界状态跟踪问题。