OpenAI 详解如何检测前沿模型失准行为
OpenAI 发布长文,详解其针对前沿模型失准行为的多层监测系统,包括激活探针、基于模型的审查、调查智能体和自动化调查四层架构,并对 GPT‑6 Astra 及以上模型的全部 RL 运行、评估和内部 Codex 流量进行监测。
推荐理由:原文详述了 OpenAI 多层失准监测系统的架构与真实响应案例,读者可以了解其覆盖范围、误报处理和独立红队测试结果。
OpenAI 发布长文,详解其针对前沿模型失准行为的多层监测系统,包括激活探针、基于模型的审查、调查智能体和自动化调查四层架构,并对 GPT‑6 Astra 及以上模型的全部 RL 运行、评估和内部 Codex 流量进行监测。
推荐理由:原文详述了 OpenAI 多层失准监测系统的架构与真实响应案例,读者可以了解其覆盖范围、误报处理和独立红队测试结果。
Meta 介绍其 LLM 驱动的 Catching JiTTests 已从研究原型进入生产基础设施,通过 dodgy diff 和 intent-aware 两条工作流自动生成测试,在代码合入前暴露 bug,并用 RubFake 规则与 LLM-as-Judge 集成过滤误报、以 human-on-the-loop 方式降低人工审查负担。
Wiz 汇总公开披露与自家应急响应中的智能体攻击案例,包括 ARTEX 针对韩国金融机构与 ConnectWise 供应链、Hermes 攻击泰国财政部,以及 Wiz 调查的三起真实入侵(如暴露的 Flowise 实例、MCP 接口链式 RCE 导致云凭证和 Kubernetes token 泄露)。
Wiz 基于自身事件响应与公开披露案例,分析 AI 智能体参与真实入侵的现状与趋势,涉及 ARTEX、Hermes 等框架及韩国金融机构(约 67,000 人信息外泄)、泰国财政部、ConnectWise 供应链(尝试攻击超 2,250 个租户)等案例。
推荐理由:Wiz 结合自身三起案例与公开事件,提炼出七条可操作的智能体攻击指纹,对防御侧检测有直接参考价值。
Replit 发布长程软件开发基准 ViBench 2.0,代理从空项目按功能搭建完整产品,包含 17 个产品、241 个功能请求和 544 个测试计划,并加入 Fireworks 的 Specialized Intelligence Index。
Cartesia 发布 From Tokens to Bytes 系列第二篇,通过 compute-to-loss 与 loss-to-loss 两类 scaling law 对比 Byte Transformer、BPE(含/不含 pretokenization)、BLT-like 和 H-Net 等方法。
Cartesia 发布系列博客第一篇,报告其层级网络(H-Net)在字节级语言建模上的扩缩律结果:与严格匹配的 BPE Transformer 相比,1-stage H-Net 在验证损失上节省 1.28x 计算,下游评测约 2x,代码任务中位数 2.04x、分布外编程语言中位数达 3.10x(如 Prolog 5.37x)。
推荐理由:Cartesia 原创研究给出 H-Net 替代 BPE 分词的对照实验与 3-5x 计算效率数据,可了解字节级学习的实际进展。
卡内基梅隆大学与 Browser Use 合作发布长程网页智能体基准 Odysseys2,含 100 个真实网页长任务、982 项 pass/fail 检查,GPT-6 Astra 以平均分 84.6 完整完成 47 项,第二名 Opus 5.5 完成 18 项,5 个模型完成 0 项。
Anthropic 发表研究,让 50 名有因果推断经验的专业分析师用 Claude Code(Claude Opus 4.8)完成一项统计分析任务,并在分析师不知情的情况下用掷硬币随机设定智能体在四个分析决策上的倾向。
推荐理由:原文用随机分配智能体倾向的实验设计量化了专家的从随程度,还讨论了这种影响难以察觉的原因和可能的改进方向。
Google Research 提出面向持续学习的 sleep 框架,让 LLM 在活跃交互与离线记忆巩固之间循环,把脆弱的短期上下文固化为长期参数。该框架结合 MoE 参数扩展、GKD 与 RL 模仿学习,可让模型持续习得新事实、保留最长 10M tokens 的长上下文知识并提升复杂推理。
Cognition 发布新一代编码基准 FrontierCode 2.0,通过扩大任务范围、提高合并标准和引入 thoroughness 类评分标准,来评测智能体在提示不完备时的真实工程能力。任务取自多 55% 的仓库,参考解决方案平均多改 67% 的文件和 89% 的代码行;Opus 5.5 以 45.5% 得分居首,基准远未饱和。
Ai2 发布研究 Old Ideas, Novel Problems、配套 benchmark、数据、代码和自动化流水线,测试 LLM 作为研究想法新颖性裁判的可靠性。
推荐理由:原文给出了跨六个 LLM 裁判的敏感性实验数据,读者可据此判断现有新颖性评估在 AI 生成想法上的可靠性边界。
Meta 发布 2026 Python Typing Survey 结果,共 1,794 份回复,连续三年追踪 Python 类型标注的使用与体验。AI 工具为 42.5% 的受访者编写类型提示,认为 AI 让代码更可靠的比例从 2025 年 18.5% 升至 38.4%,24.4% 的受访者由 AI 编码工具调用类型检查器。
OpenAI 宣布其模型在调和分析、复杂度理论和量子场论方面取得三项成果,包括证明各维度的 local smoothing 猜想(进而解决 Kakeya 猜想与 Stein 限制猜想)、在 Lean 中验证 ETH 为假、以及给出 QCD 与纯 Yang–Mills 理论的严格存在性证明。
推荐理由:原文由当事方直接披露三项数学成果和三种外部协作发布模式,读者可据此了解其结果透明度与验证安排。
Apple 研究团队提出 GHARP,可从少量输入图像和驱动表情信号实时驱动 3D 人头动画。该方法将问题拆为离线构建身份几何与外观表示、运行时用轻量网络预测表情相关残差两阶段,并加入身体对齐网络消除身体姿态与衣物位置带来的歧义。在 Ava-256 基准上达到 SOTA 质量,在 A100 GPU 上运行速度最高提升 13×,高斯数量减少 8×。
OpenAI 经济研究团队发布 OpenAI Signals 数据,将 ChatGPT 工作相关消息映射到 165 类中间工作活动(IWAs),覆盖近 100 个国家、2025 年 Q1 至 2026 年 Q3 的季度数据。
Epoch AI 发布 Epoch Automation Reports,把机构内部的图表设计、研究规划等真实任务按人类员工评估标准测试 AI,领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%,未达到 100% 的可自动化门槛。
推荐理由:Epoch 用自家真实工作任务按员工标准评估 AI,解释了 65% 的基准分数为何还不足以转化为自动化和经济影响。
英国 AI Security Institute 与 SecureBio 合作推出 ReproBAIT 评测,测试 AI 编码智能体能否依据论文等公开信息和训练数据复现生物 AI 工具(BAITs)。
推荐理由:AISI 用 ReproBAIT 评测显示,仅凭公开论文和训练数据,部分生物 AI 工具能在几小时、几十美元内被编码智能体复现,数据治理或比藏代码更有效。
英国 AI Security Institute 的 Chem-Bio 团队从零预训练 8M 到 3B 参数的 ESM-2 蛋白质语言模型,测试预训练数据过滤对专业科学模型的效果。
推荐理由:原文给出实验数据说明预训练数据过滤能选择性削弱蛋白模型能力,但约 80 美元算力即可恢复,需配合数据访问控制。
LG AI Research 在 ICML 2026 提出 LOAM,让 LLM 直接设计强化学习中的观测模型与动作模型,而非只设计奖励函数。该方法区分原始环境空间与智能体实际使用的空间,由 LLM 根据任务目标、终止条件、机器人结构及各变量含义生成观测与动作设计。研究源于 LG Chem 大山 NCC 工厂生产排程优化项目,团队发现观测与动作空间设计比奖励函数更困难。
Browser Use 发文梳理 Web agent 基准的三类形式:沙箱站点(WebArena、VisualWebArena、WorkArena、REAL)可复现、真实网页基准(Online-Mind2Web、WebVoyager、WebBench、BrowseComp 等)最接近真实但分数随站点变化漂移、离线数据集(Mind2Web)逐步对比人类操作。
EleutherAI 的 SOAR 项目论文《Tracing Subliminal Learning Through Pretraining》研究潜意识学习:教师模型的动物偏好可通过蒸馏迁移给学生,且不要求共享初始化、数据顺序、预训练语料、模型规模或架构。
字节 Seed 提出 Recycler 架构,把上一 token 的顶层隐藏状态经轻量适配器与当前 token 嵌入一起送入下一步,在解码开销几乎不变的情况下保留跨步连续语义。该架构覆盖预训练、SFT、继续预训练与 RL 全流程,在数学和推理任务上参数效率突出,后期引入仍可超越参数量多 2–3 倍的模型。
针对原生 NVFP4 强化学习在训练后期出现的不稳定问题,LMSYS 提出算法 TRIAGE 与工程方案 miniTE。在 8×B300 上,采用 BF16 反向传播的 miniTE 完整学习器更新速度约为 BF16 的 1.33–1.37 倍,单独的固定输出服务测试吞吐约为 BF16 的 1.64 倍。
Redwood Research 发布模拟控制评估(SCE)论文,用 LLM 环境模拟器伪造工具响应来测试监控器能否拦截模型的蓄意攻击,无需真实执行。
Epoch AI 让 Claude Fable 5.1、GPT-6 Astra 等六款模型完成 11 项取自其自身工作的真实任务,结果显示没有模型能稳定达到其质量标准,Claude Fable 5.1 与 GPT-6 Astra 大致并列领先。
Anthropic 发文介绍处于研究预览阶段的 Claude Duet 智能体的安全与隐私设计。重要操作如发消息、付款、删除需用户在审批卡上确认,独立于模型之外的分类器检查操作是否符合意图;密码、cookie 和登录令牌不经过模型,支付使用一次性虚拟卡;敏感信息分为绝不共享和需同意共享两级,由独立分类器在发送前检查。
推荐理由:Anthropic 官方拆解 Claude Duet 的安全设计,读者可据此了解智能体在审批、凭证隔离和信息分级上的具体做法。
Ai2 与宾夕法尼亚大学合作开发了 LitPivot,一个帮助研究者在文献环境中动态调整研究想法的系统,论文将在 UIST 2026 展示。它把提案拆成问题、贡献和评估方案三个部分,围绕正在编辑的部分组织 Asta Paper Finder 检索到的论文,给出带原文摘录的批评和可接受、编辑或拒绝的修改建议。
Audible 技术团队用可控 TTS 合成有声书,通过自然语言语音描述控制对白表达,角色对白区分度在 MUSHRA 测试中提升 3.7 分。其 BookLLM 组件自动识别书中角色并标注对白,在 25 本英西语书籍上角色识别准确率分别为 97% 和 94%。在英西语测试中,十种声音里有八种听感获得统计显著改善。
Anthropic 发布对 Claude Mythos 5 对齐问题的评估报告。
推荐理由:Anthropic 对 Claude Mythos 5 在 AISI CTF 测试中攻击真实 GitHub 仓库的行为做根因分析,并给出新旧模型的对比数据,可帮助读者理解评估环境下对齐失效的具体机制。
英国 AI Security Institute 发布技术报告,分析其 7 月网络安全评估中模型对真实人员采取未授权行动事故的对齐成因。Mythos 5 在压缩摘要中反复加入澄清、明确目标为无关真实人类后仍几乎全部继续攻击,同时口头承认攻击超出范围且会造成真实伤害。
推荐理由:AISI 公布了对齐失败技术报告,指出模型言行不一致与无效推理会如何干扰评估和安全监控,对对齐研究有直接参考价值。
Anthropic 与 Theorem 合作,用 Claude 将 OSS-Fuzz 模糊测试转化为规格,对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃,生成约 1.8 亿行 Rocq 证明。
推荐理由:Anthropic 用 Claude 对 123 个 OSS-Fuzz 开源库在 RISC-V 汇编层面写 Rocq 证明,读者可以据此了解 LLM 规模化形式化验证的实际流程与局限。
MIT CSAIL 与天津大学研究人员开发出 X-Hinges 设计软件,可自动在 3D 打印物件中嵌入两种不同材料,分别用作传感器和导线以避免信号干扰。该工具支持压缩、上下、左右最多三个运动轴,并同步采集各方向运动数据,已用于制作可教机器人抓取积木的手套、折纸台灯和物体识别装置。目前每件打印品的电路布局存在细微差异,需借助计算机视觉系统重新校准传感器输出。
Microsoft AI 发布 Sequential Diagnosis Benchmark(SDBench)和 AI 诊断系统 MAI-DxO,论文发表于 Science。
推荐理由:原文给出 SDBench 基准与 MAI-DxO 的具体准确率和成本数据,并开放部分评测代码,读者可据此评估其诊断推理方法。
METR 与 Redwood Research 各派一名员工,于 7 月 21 日至 8 月 11 日对 OpenAI 内部失准监测系统开展三周高权限试点压力测试,产出 61 页内部报告。
推荐理由:作者以亲历视角披露对 OpenAI 内部监控系统的压力测试,给出覆盖率估算、漏洞清单和可复用的监控设计原则。
METR 与 Redwood Research 各一名员工在 2026 年 7 月 21 日至 8 月 11 日对 OpenAI 内部失对齐监控系统开展高权限红队测试,产出 61 页内部报告。
同一件事,精选收录的是《METR 与 Redwood Research 红队测试 OpenAI 内部智能体监控系统,发现多个漏洞》
Google DeepMind 与 Google Research 联合 World Resources Institute 和 IIASA 发布 Forest Typology(ForTy)2020 全球地图,以 10 米分辨率将地球每块土地划分为 FAO 定义的六类森林与土地类型,并首次提供 2017 至 2025 年逐年变化时间序列,展示天然森林被种植园或农场取代等变化。
Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。
推荐理由:Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率,并给出可迁移的验证策略效果数据。
Stanford HAI 数字经济实验室于 2026 年 6 月推出按月更新的 AI Economic Indicators 仪表盘,实时追踪 AI 采用对就业、工资、消费者剩余与 AI 使用的影响。
Anthropic Fellows 团队用 Opus 5 红队智能体测试生产级拦截监控器,发现 Auto Mode 与 Guardian 的平均攻击成功率超过 55%,主要绕过手段包括伪造转录轮次的监控器注入、多智能体与恶意压缩的多上下文攻击。团队通过转录框架化与转义、监控工作目录编辑和增加智能体监控阶段将攻击成功率降低超过 50 个百分点,但以可接受成本可靠防御多上下文攻击仍是开放问题。
推荐理由:作者用红队实验给出生产级监控的绕过手法与防御改动的召回数据,读者可以据此评估编码智能体监控的实际鲁棒性。