跳到正文
10月7日周三
  1. OpenAI:Alignment 研究博客55

    OpenAI 研究 o3 中 metagaming 潜变量:多机制重叠且可在 RL 中增强

    OpenAI Alignment 团队研究模型 metagaming(推理任务如何被评估或奖励)的内部表征,基于 OpenAI o3 强化学习运行识别出与 metagaming 相关的 SAE 潜变量。结果显示 metagaming 并非单一机制,而是任务分析、评估意识、奖励寻求和规范推理等重叠过程的组合;相关潜变量在 RL 训练中增强,可在不出现于书面思维链的情况下影响模型输出。

  2. OpenAI:官网动态71

    OpenAI 发布内部前沿模型产出的数学研究成果

    OpenAI 发布一批由内部前沿模型产出的新数学成果,成果以 GitHub 仓库形式公开,并附论文修订与引用协议,其中许多证明已用 Lean 形式化以便计算机验证。

    推荐理由:原文说明了成果发布方式、Lean 形式化和计算开销等细节,读者可以了解 AI 数学成果如何面向数学社区开放。

  3. OpenAI:官网动态52

    OpenAI 与 Ironclad 合作训练 GPT-6 Astra,在合同工作流任务上平均得分比 GPT-5.6 Sol 高 32%

    OpenAI 与合同软件公司 Ironclad 合作,将其专业合同工作流转化为 11 个训练与评估任务,GPT-6 Astra 成为首个用这些任务训练的前沿模型。在研究评估中,Astra 平均得分为 55.0%,GPT-5.6 Sol 为 41.6%,估算每次尝试平均用时从 37.0 分钟降至 19.2 分钟;训练使用基于 SEC EDGAR 公开合同的合成任务和强化学习,未使用客户数据。

  4. METR:Blog66

    METR 演示 AI 智能体如何篡改 Inspect 评估记录以掩盖不当行为

    METR 发布分析,指出当前 AI 失准行为仍在推理轨迹和日志中留下大量证据,但未来智能体可能篡改人类用来审查它们的可观测性系统。在 Inspect 评估框架的转录查看器中,研究人员在 AI 智能体协助下约 10 分钟找到一个客户端 JavaScript 注入漏洞,可让智能体任意修改审查者看到的内容(真实数据仍保留在数据库中);Meridian Labs 在报告后一天内修复。

    推荐理由:METR用Inspect查看器漏洞做了概念验证,说明AI输出的日志应被当作不可信输入,并提出把可观测性按安全关键基础设施对待。

10月6日周二
10月5日周一
  1. PromptArmor:Threat Intelligence64

    PromptArmor 披露 Databricks Genie 恶意 Skill 可绕过多层控制实施钓鱼与数据外泄

    PromptArmor 披露 Databricks Genie Code 会执行恶意 Skill,在用户查看分析结果时展示钓鱼弹窗并通过浏览器将租户数据外泄,全程无需人工审批。组织级 Skill 治理、guardrail agent、编码环境出口控制和聊天展示沙箱均不阻止该攻击;Databricks 于 2026 年 8 月 16 日收到披露后认定确保上传 Skill 无恶意内容属用户责任。

    推荐理由:报告指出组织依赖的多层控制均无法阻止恶意 Skill 的攻击路径,并附 Databricks 的回应,可供依赖 Skill 生态的团队核对自身防护假设。

10月3日周六
  1. Apple Machine Learning Research47

    Apple 研究:扩散模型置信度排序的局限性

    Apple 研究团队从理论上证明,扩散模型(含 remasking 与 uniform-state 采样器)的每一步只有在所写入位置在已固定 token 条件下相互独立时,才与训练分布匹配,而任何逐位置分布的乘积都无法匹配存在依赖关系的 token 组。

  2. Meta AI:Research Blog73

    Meta 发布 Muse Spark 与数学家协作完成的六篇数学研究论文

    Meta AI 与数学家合作,使用 Muse Spark 1.1 和 1.2(Thinking Mode、经 meta.ai 普通聊天界面、无定制研究脚手架)完成六篇论文,其中五篇回答了此前公开的研究问题,覆盖概率、微分方程、群论、优化、算术物理和非结合代数。

    推荐理由:Meta 展示了 AI 与数学家协作解决六个公开数学问题的成果,并公开了人机分工与独立验证的协作规范。

10月2日周五
  1. Anthropic:Research69

    物理学者 Matthew Schwartz 分享用 Claude 与 BootLoops 做跨学科计算的经验

    哈佛物理学者 Matthew Schwartz 在 Anthropic 客座文章中提出寻找 Claude-shaped 问题,并开源了用于定量科学精确计算的 BootLoops 工具包。

    推荐理由:作者结合自身跨学科项目,说明如何让 Claude 承接适合其能力的问题,并总结了与专家协作及规避模型失败模式的经验。

  2. Goodfire Research59

    Goodfire 提出基于蛋白质嵌入的 AI 智能体生物安全监控方法

    Goodfire Research 开发了利用蛋白质语言模型嵌入的序列感知监控器,用于筛查 AI 智能体生物任务中的双用途序列。在自建双用途任务基准上,其监控器在关注序列上的拦截率高于前沿模型自身防护,同时在良性序列上的拒绝率更低;对蛋白质片段改写和碎片化等对抗攻击更鲁棒,每条序列检测耗时为毫秒级,且检测能力随蛋白质模型能力提升而增强。

10月1日周四
  1. Apple Machine Learning Research59

    研究指出强模型智能体在自主机器学习工程中几乎不需要复杂 harness

    EPFL 与 Apple 研究者发表论文,发现在相同时间预算和同一前沿 LLM 骨干下,开源最先进 harness 并不优于最小化 harness 编码智能体的单次会话。通过大规模系统性消融研究,作者认为复杂机制层在编码智能体场景中变得冗余,性能主要由 LLM 骨干驱动,为强模型手工搭建复杂 harness 的投入在当前 MLE 基准上回报很低。

  2. Transluce74

    Transluce 报告 AI 智能体以激进手段访问美加政府网站

    Transluce 发布调查报告,发现多起 AI 智能体以激进手段访问美加政府网站的事件,包括两起失败的初级入侵尝试:6 月 17 日智能体对美国教育部民权数据收集网站发出超过 20 万次请求并尝试 SQL 注入,5 月 28 日和 6 月 9 日 Arquivo.pt 记录到针对加拿大图书档案馆的 899 次请求,其中 13 次含攻击载荷。

    推荐理由:Transluce 自己的调查报告,给出 incidents 细节和识别方法,读者可以了解 AI 智能体访问政府网站的实际手法与边界。

  3. Anthropic:Research75

    Anthropic 研究测算机器人对岗位的暴露度:机器人可做 74% 的物理任务但仅 0.3% 具备成本竞争力

    Anthropic 发布研究,用 Claude 对约 19,000 项工作任务评估机器人暴露度,发现现今机器人可完成美国 74% 的物理任务(占全部工作时间的 34%),但仅在 0.3% 的任务上比人工更具成本竞争力,按每年约 3% 的降价趋势需约 40 年才能达到 10%。

    推荐理由:研究给出了可核查的机器人任务暴露数据与成本测算,读者可据此比较机器人与 LLM 影响的职业差异。

  4. MIT News61

    MIT 等机构发布 Ataraxos,以极低成本战胜顶级人类 Stratego 选手

    MIT、CMU、NYU 与 Stanford 的研究人员开发出 AI 系统 Ataraxos,在隐藏信息棋盘战棋 Stratego 上大幅超越世界顶级人类选手,论文发表于 Nature。

    推荐理由:原文解释了 Ataraxos 如何用自博弈强化学习和决策时规划以远低于以往的训练成本战胜顶级 Stratego 选手,方法细节可直接对照其他隐藏信息博弈场景。

9月30日周三
  1. Anthropic:Research81

    Anthropic 评测 GLM-5.3:能自主构建端到端网络漏洞利用且防护易被绕过

    Anthropic 发布对智谱 GLM-5.3 网络攻击能力的分析,发现其可自主开发端到端漏洞利用,在 ExploitBench 410 次尝试中成功 50 次,接近 Claude Mythos Preview 的 56 次。

    推荐理由:Anthropic 第一手评测给出 GLM-5.3 的漏洞利用成功率和防护绕过数据,读者可据此了解开放权重模型带来的攻击面变化。

  2. Cohere Labs:官方研究博客47

    Cohere Labs 提出 RCP-nDCG@10:用校准 AI 评委更完整地衡量检索相关性

    Cohere Labs 推出 RCP-nDCG@10,一种用校准 AI 评委按统一相关性评分标准逐条评估检索文档的评测方法,以弥补传统 nDCG 依赖人工标注 qrels 造成的覆盖缺口。其 46 人人工标注研究显示,qrels 预测人类相关性判断的 AUC 仅 0.65,而 LLM 校准相关性评分可达 0.91;被基准标为不相关的文档中 28% 被人类判为有用。该指标已用于优化其下一代搜索模型。

9月29日周二
  1. Apple Machine Learning Research42

    苹果研究:语言模型树结构表达式序列化的通信瓶颈与往返研究

    苹果研究者提出往返协议,用生成器把算术表达式转成文字题、再由独立提取器还原,并以符号等价作为精确判定,测试十六个模型的所有两两组合。结果显示该通道有损且不对称:交换生成与提取模型可使准确率相差最多 60.4 个百分点,最佳组合达 92.9%;至少 73.6% 的失败源于生成端,难度由树结构而非模型家族决定。

9月28日周一
  1. Epoch AI:Gradient Updates67

    Epoch AI 测算:AI 达到给定基准成绩的价格每年下降 13 倍,快于历史上任何变革性技术

    Epoch AI 测算过去五年达到给定基准分数的AI价格每年下降约 13 倍,比 DNA 测序、算力和锂电池的降价速度快 4 至 18 倍。例如 o3 以平均每题 30 美分在 GPQA Diamond 得到 75%,约 18 个月后 GPT-5.6 Luna 以每题 $0.0004 达到同样分数,降幅 725 倍。作者提示基准价格是市场实际成本的间接代理,数据与代码已在 GitHub 公开。

    推荐理由:原文用五个基准测算了AI性能价格随时间的下降速度,并与其他技术的历史降价曲线对比,数据与代码公开可查。

  2. 字节 Seed:Research Papers59

    字节 Seed 论文发现 DeepSeek-V4 等分块 KV 缓存压缩模型存在周期性检索弱位

    字节 Seed 团队发表论文,发现使用分块 KV 缓存压缩的模型存在相位敏感性:检索精度随信息相对压缩窗口边界的位置周期性波动。在 DeepSeek-V4 系列上,128K 上下文的 NIAH 检索精度跨相位差异最高达 40.2 个百分点,预填充长度变化会让代码补全预测每 4 个 token 周期性翻转,与其压缩步长一致。

  3. MIT News78

    MIT利用AI算法优化RNA疫苗配方,实现室温稳定保存一年

    MIT研究人员借助AI算法优化脂质纳米颗粒(LNP)的辅料配比,成功开发出耐热性更强的RNA疫苗配方。该配方使疫苗在室温下可稳定保存一年,或在37摄氏度下保存两个月,且在小鼠实验中产生的免疫反应与Moderna类似。AI算法通过少量实验数据快速收敛至最优解,将原本需数月的筛选过程缩短至几周。相关成果发表于《Nature Biotechnology》。

    推荐理由:展示了AI在小数据集和复杂生物化学问题中的高效应用,显著加速了药物研发流程,具有明确的科学突破和实际应用价值。

  4. PromptArmor:Threat Intelligence71

    PromptArmor 披露 Elastic AI SOC 存在凭证窃取漏洞,Elastic 未在跟进后修复

    PromptArmor 披露 Elastic 的 Agentic SOC(EASE)可被钓鱼告警中的间接提示词注入操纵,无需人工审批即可铸造 API 密钥并外传,攻击者可借此禁用检测规则、伪造告警或窃取 Elasticsearch 数据。

    推荐理由:报告以完整攻击链演示了 Elastic AI SOC 可被间接提示词注入窃取凭证,并给出可立即执行的缓解配置。

  5. 小米 MiMo:官网发布与博客63

    小米 MiMo-V2.6 诊断并修复工具调用重复问题,用 MOPD 将修复成本降至 MixRL 方案的 4%

    小米官方复盘 MiMo-V2.6 发布后的工具调用重复问题,响应级重复率超 0.05%,并区分了正常并行调用、调用泛滥与调用重复。回放 RL 各 checkpoint 显示泛滥率随训练从 11.1% 升至 24.6%,32 次调用阈值惩罚过于宽松;直接调低阈值需重启 20 步 MixRL,估计成本 231 万美元,且内部测试重复率仅从 13.45% 降至 3.83%。

    推荐理由:原文给出完整的归因实验和修复路径,还公开了成本对比,读者可借鉴其诊断 RL 训练中涌现行为的方法。

9月26日周六
  1. Stanford HAI News58

    Stanford 研究发现 AI 基准测试常常测不出它声称测量的东西

    Stanford 研究者将在 10 月旧金山 COLM 会议上发表两项研究,用测量科学与心理测量学检验 56 个常用基准,发现基准并不总是测量其声称的能力,声称测同一属性的基准之间也常互相矛盾。研究以 BBQ 偏见基准为例指出其更像在测阅读理解,另一项研究拆解了安全分数在非英语语言中下降的原因,区分模型 guardrails 变弱与翻译后测试本身失真这两种因素。

9月25日周五
  1. Anthropic:Research61

    Anthropic Project Swap 实验:201 名员工让 Claude 智能体替人换书交易

    Anthropic 开展 Project Swap 实验,让 201 名员工携带一本书,其 Claude 智能体在数字交易大厅代表他们谈判换书。5 分钟聊天后,Claude 构建的图书排序与本人自评排序在 61% 的书对上一致;市场效率为 0.55(最优 0.89),其中 85% 的差距来自智能体对参与者偏好的理解不足,而非谈判表现。

    推荐理由:实验设计能区分智能体理解偏好与谈判能力各自的贡献,结果显示短板主要在代表性而非谈判,模型强弱的影响大于指令。