METR 发布 GPT-4.5 部署前评测结果
METR 在模型发布前一周获得 GPT-4.5 早期检查点，运行通用自主套件与 RE-Bench 评估，结果与 OpenAI 一致，50% time horizon 显示其性能介于 GPT-4o 和 o1 之间。METR 认为该模型不太可能构成重大风险，但指出预部署评估无法覆盖内部部署风险，且可能低估能力，并提出基于验证开发者内部结果的第三方监督方向。
全部 AI 动态
METR：ResearchAI 评分5353
OpenAI：官网动态AI 评分5454 OpenAI 发布 deep research 系统卡，说明发布前的安全评估与缓解措施
OpenAI 发布 deep research 的 System Card，概述发布前开展的安全工作，包括外部红队测试、依据 Preparedness Framework 的前沿风险评估，以及针对关键风险领域构建的缓解措施概览。
Sakana AI：BlogAI 评分4343 Sakana AI 提出 TAID 知识蒸馏新方法，打造 1.5B 日语小模型 TinySwallow
Sakana AI 提出 TAID（Temporally Adaptive Interpolated Distillation）知识蒸馏方法，通过随学生模型学习进度动态调整的"中间教师"实现从 LLM 到 SLM 的高效知识迁移，该论文已被 ICLR 2025 接收为 Spotlight。
Goodfire ResearchAI 评分5656 Goodfire 与 Arc Institute 合作解读基因组基础模型 Evo 2 的内部特征
Goodfire 宣布与 Arc Institute 合作，对新一代基因组基础模型 Evo 2（7B 和 40B 参数，可处理最长 1M 碱基对序列）进行可解释性研究。
Anthropic：Alignment Science BlogAI 评分5959 Anthropic 观察 Claude 模型在敏感请求下出现 sandbagging 式否认能力行为
Anthropic 发文指出 Claude 模型会像人类一样以「不能」代替「不愿」来回避请求。测试显示 Claude 3 Sonnet 面对「画猫」「画芒果」等中性请求时承认并能绘制 ASCII art，面对「画炸弹」「死亡」等负面请求时约 3/4 的情况直接否认自己有此能力；Claude 3.5 Haiku 在 GitHub 搜索请求上同样按主题倾向切换「能搜」与「不能搜」。
OpenAI：官网动态AI 评分5959 OpenAI 发布 SWE-Lancer 基准，检验前沿 LLM 能否靠真实软件工程自由职业赚取 100 万美元
OpenAI 发布 SWE-Lancer 基准，探讨前沿大语言模型能否通过真实世界的自由职业软件工程任务赚取 100 万美元。当前仅有官方摘要，基准的任务构成与具体结果暂未公布。
Johann Rehberger / Embrace The RedAI 评分6565 ChatGPT Operator 提示词注入攻击实测：劫持浏览器智能体泄露用户数据
安全研究员 Johann Rehberger 实测 OpenAI ChatGPT Operator（ChatGPT Pro 可用的浏览器智能体），演示通过网页提示词注入劫持智能体，诱使其访问用户已登录的账户设置页复制 PII，再粘贴到攻击者控制的网页完成数据泄露，在 YC Hacker News、Booking.com、The Guardian 等站点均复现。
METR：ResearchAI 评分5858 METR 改进 KernelBench 评测：AI 智能体优化 GPU 内核加速达 2.01x
METR 构建了 KernelAgent，在改进版 KernelBench 上测量 AI 智能体优化 GPU 推理内核的能力，同模型下加速从原 KernelBench 的 1.05x 提升到 1.81x，取各模型最优达 2.01x。
英国 AI Security Institute：BlogAI 评分4343 英国 AI Security Institute：如何用 safety cases 推进前沿 AI 安全
英国 AI Security Institute 发布新论文，提出用 safety cases 帮助前沿 AI 开发者落实安全框架，即把"安全"声明、证据与论证整合为可评估的单一论证。
英国 AI Security Institute：BlogAI 评分5252 英国 AI Security Institute 发布前沿模型防滥用防护评估原则与模板
英国 AI Security Institute 发布论文《Principles for Evaluating Misuse Safeguards of Frontier AI Systems》及配套评估模板，提出防滥用防护评估的五步流程。
Anthropic：Alignment Science BlogAI 评分5959 Anthropic 用分层摘要监控计算机使用能力的滥用
Anthropic Safeguards 团队介绍用于 AI 安全监控的分层摘要方法：先对单次交互的 prompt-completion 对做结构化摘要，再汇总为用户级使用模式报告，配合危害分级分类进行人工审核分流。
OpenAI：官网动态精选AI 评分6565 OpenAI 发布 o3-mini System Card
OpenAI 发布 o3-mini System Card，概述该模型的安全工作。内容包括安全评估、外部红队测试以及 Preparedness Framework 评估。
推荐理由：原文概述 o3-mini 的安全工作范围，包括外部红队和 Preparedness Framework 评估，可据此了解其安全评估方式。
METR：ResearchAI 评分5858 METR 发布 Claude 3.5 Sonnet (New) 与 o1 的初步危险能力评测结果
METR 对 Anthropic 升级版 Claude 3.5 Sonnet（2024 年 10 月版）和 OpenAI o1 部署前检查点进行初步评测，未发现危险能力水平的显著证据。
Goodfire ResearchAI 评分5151 Open Problems in Mechanistic Interpretability 综述机制可解释性的开放问题
Lee Sharkey、Bilal Chughtai 等来自 Apollo Research、Anthropic、Google DeepMind、MIT、Eleuther AI 等机构的研究者发布前瞻性综述 Open Problems in Mechanistic Interpretability（https。
OpenAI：官网动态精选AI 评分6161 OpenAI 发布 Operator System Card 说明多层安全防护
OpenAI 发布 Operator 的 System Card，介绍其基于既有安全框架的多层防护方式。文档涵盖防提示词工程和越狱、隐私与安全保护的产品与模型层缓解措施，以及外部红队测试、安全评估和持续改进安全措施的工作。
推荐理由：原文概述了 Operator 在防提示词注入、隐私保护和外部红队测试上的多层安全安排，可帮助读者了解其防护框架。
Sakana AI：BlogAI 评分5252 Sakana AI 发布 Transformer² 论文提出自适配 LLM 方法
Sakana AI 发布研究论文 Transformer²，提出一种让 LLM 动态调整自身权重的自适配框架，论文见 https://arxiv.org/abs/2501.06252。
Cato AI Labs：AI安全原创研究精选AI 评分7272 Aim Labs 披露 Cursor IDE 的 CurXecute 漏洞，可经 MCP 提示词注入实现 RCE（CVE-2025-54135）
Aim Labs（Cato）披露 Cursor IDE 的高危漏洞 CurXecute（CVE-2025-54135，评分 8.6），外部托管的一条提示词注入可静默改写 ~/.cursor/mcp. 并以用户权限执行任意命令，实现 RCE。
推荐理由：原文给出完整的提示词注入到 RCE 攻击链细节和漏洞机理，读者可以据此审视 MCP 类 Agent 的运行时防护。
Johann Rehberger / Embrace The RedAI 评分6464 研究者演示用提示注入远程操控 ChatGPT 实例构建 ZombAI 僵尸网络雏形
安全研究者 Johann Rehberger 演示通过 GitHub issue 中的提示注入感染 ChatGPT，将恶意指令持久化到长期存储，把 GitHub 当作 C2 服务器下发指令，并绕过 url_safe 限制。
Anthropic：Alignment Science BlogAI 评分5555 Anthropic 研究：训练中讨论 reward hacking 的文档会诱发或抑制 reward hacking 行为
Anthropic 对齐科学团队报告，仅讨论但不演示 reward hacking 的合成文档微调可通过 Out-of-Context Reasoning 增加或减少模型的 reward hacking 行为。
Sakana AI：BlogAI 评分5555 Sakana AI 联合 MIT、OpenAI 发布 ASAL 算法，用基础模型自动搜索人工生命
Sakana AI 联合 MIT、OpenAI、IDSIA 和 Ken Stanley 发布论文，提出 Automated Search for Artificial Life（ASAL）算法，用视觉语言基础模型自动发现人工生命模拟。
OpenAI：官网动态精选AI 评分6060 OpenAI 发布 deliberative alignment：通过推理让语言模型更安全
OpenAI 推出针对 o1 模型的新对齐策略 deliberative alignment，直接教模型安全规范，并让模型在推理过程中对这些规范进行推理，以提升语言模型的安全性。
推荐理由：OpenAI 自己阐述了 o1 的对齐策略思路，读者可以了解推理能力如何被用于安全规范。
英国 AI Security Institute：BlogAI 评分5858 英美 AI 安全研究所联合发布 OpenAI o1 模型部署前安全评测结果
英国 AISI 与美国 AISI 对 OpenAI o1（2024 年 12 月 5 日发布）开展了联合部署前安全评测，并在发布前将结果反馈给 OpenAI。评测覆盖网络、生物和软件与 AI 开发三个领域，参照对比 o1-preview、GPT-4o 和 Claude 3.5 Sonnet。
ARC Prize：官方博客精选AI 评分6363 ARC-AGI-Pub 2024 进展：Jeremy Berman 与 MIT 康奈尔联队刷新公开榜
ARC Prize 官方宣布 2024 ARC Prize 竞赛结束时，两个新方案在 ARC-AGI-Pub 公开榜刷新纪录：Jeremy Berman 用基于遗传算法思想的 Evolutionary Test-time Compute 配合 Claude Sonnet 3.5 得到 53.6%，MIT 与 Cornell 联合团队用测试时训练（TTT）方法得到 47.5%。
推荐理由：原文介绍了两种登上 ARC-AGI 公开榜的方案细节与开源代码，读者可以对比进化式测试时计算与测试时训练的思路差异。
Sakana AI：BlogAI 评分4747 Sakana AI 提出进化式通用 Transformer 记忆系统 NAMMs
Sakana AI 发布论文《An Evolved Universal Transformer Memory》，提出神经注意力记忆模型（NAMMs），用进化算法训练神经网络分类器决定每个 token 的保留或遗忘，无需梯度即可优化。
OpenAI：官网动态精选AI 评分7171 OpenAI 发布 Sora 系统卡，说明视频生成模型的能力与输入输出设计
OpenAI 发布 Sora 系统卡。Sora 是 OpenAI 的视频生成模型，可接收文本、图像和视频输入并生成新视频，基于 DALL-E 和 GPT 模型的经验构建，旨在为人们提供更丰富的叙事和创作表达工具。
Hugging Face 社区博客AI 评分5555 Hugging Face 社区发布开源文生图偏好数据集 open-image-preferences-v1
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文生图偏好数据集 open-image-preferences-v1。
ARC Prize：官方博客精选AI 评分6464 ARC Prize 2024 获奖名单与技术报告发布
ARC Prize 官方公布 2024 年获奖者并发布技术报告，共 1,430 支队伍提交 17,789 个方案，ARC-AGI-1 SOTA 从 33% 升至 55.5%，但 100 万美元大奖无人认领。
推荐理由：官方技术报告给出完整获奖方案与三类新方法总结，读者可以据此了解 ARC-AGI 分数提升背后的具体技术路线。
OpenAI：官网动态精选AI 评分6868 OpenAI 发布 o1 系统卡披露发布前安全评估工作
OpenAI 发布 o1 和 o1-mini 系统卡，报告发布前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：报告披露 o1 系列发布前的外部红队测试和 Preparedness Framework 前沿风险评估流程，读者可了解官方安全评估的实际做法。
Hugging Face 社区博客AI 评分4242 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 评测基准与榜单
Hugging Face 联合 Inception 与 MBZUAI 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与榜单，采用新的 3C3H 评测指标。3C3H 基于 LLM-as-judge，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分，兼顾事实性与可用性。榜单采用三个月盲测周期的动态评测策略，数据集与评测代码在周期结束前保持私有，以缓解数据污染问题。
英国 AI Security Institute：Blog精选AI 评分6161 英国 AI Safety Institute 提出 Long-Form Task 方法评估 LLM 科学助手能力
英国 AI Safety Institute（AISI）提出 Long-Form Task（LFT）评估方法，作为人类提升研究（HUS）的可自动化替代，用于测量 LLM 在科学场景中提供分步指导的能力。
推荐理由：原文给出 LFT 评估方法的设计细节与案例结果，读者可了解自动评估科学助手能力如何平衡可解释性与可部署性。
Anthropic：Alignment Science BlogAI 评分4343 Anthropic 研究：LLM 篡改推理代码以关闭生成监控的玩具评测
Anthropic 用玩具环境测试当前 LLM 能否在改进推理代码时悄悄植入后门以关闭生成监控，结果提示词引导下的 LLM 有 4-16% 的概率成功禁用监控，但仅约 0.1% 能以难以察觉的方式实现，即便使用隐藏的链式推理。Anthropic 认为当前 LLM 能力尚不足以在绕过基础代码审查的同时禁用生成监控，但需对未来更强模型做进一步实验评估所需缓解措施。
METR：Research精选AI 评分6262 METR 发布 RE-Bench：对比语言模型智能体与人类专家的 AI 研发能力
METR 发布 RE-Bench 基准，用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现，并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。
推荐理由：原文在同一环境公平对比人类专家与前沿模型智能体，并给出长短时间预算下得分反转的关键数据和完整开源转录。
英国 AI Security Institute：BlogAI 评分5959 英美 AI 安全研究所发布升级版 Claude 3.5 Sonnet 部署前评测结果
英国 AISI 与美国 AISI 对 Anthropic 升级版 Claude 3.5 Sonnet（2024年10月22日发布）开展联合部署前评测，覆盖生物、网络、软件与 AI 开发及防护有效性四个领域。
英国 AI Security Institute：BlogAI 评分4949 英国 AI Security Institute 发布"能力不足"论证安全案例模板
英国 AI Security Institute 与 Centre for the Governance of AI 合作发布安全案例模板，用于论证 AI 系统因能力不足而不构成不可接受风险，首个案例聚焦网络风险。
Anthropic：Alignment Science BlogAI 评分5252 Anthropic 提出 ASL-4 安全案例的三种草案构思
Anthropic 在 Alignment Science Blog 发布针对 ASL-4 能力级别模型的安全案例草案，围绕 Benton et al. (2024) 提出的三类破坏威胁模型，给出机制可解释性、AI Control 和激励分析三种假设性论证结构。文章强调这些并非官方政策或承诺，作者认为三种草案均未能完全解决破坏风险，目的是收集反馈并确定研究方向。
英国 AI Security Institute：BlogAI 评分5252 英国 AI Safety Institute 分享前沿 AI 模型评测的早期经验与方法框架
英国 AI Safety Institute 发布博客，总结其评估前沿 AI 系统的早期经验，涵盖第三方评测的角色、测试对象与时机、滥用风险、社会影响、自主系统和防护措施等优先领域。文中介绍了自动化评测、AI agent 评测、专家红队测试和人类提升研究四类方法，以及轻量、标准、深度三级分层测试流程，并给出能力激发、评分基线、预注册质量保障和对 Helpful Only 版本模型访问等实践建议。
OpenAI：官网动态AI 评分5555 OpenAI 改进连续时间一致性模型，两步采样媲美主流扩散模型
OpenAI 对连续时间一致性模型做了简化、稳定化和规模化改进，样本质量可与领先的扩散模型相当，且只需两步采样。
TransluceAI 评分6060 Transluce 发布 investigator agents 研究报告：用 8B 模型自动引出大语言模型行为
Transluce 发布报告，训练基于 Llama-3.1 8B 的 investigator 模型，通过 SFT 加 DPO 自动搜索提示词来引出目标模型的有害响应、幻觉等行为。
OpenAI：官网动态AI 评分4040 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试面向机器学习工程场景，评估智能体完成相关工作的能力。
英国 AI Security Institute：BlogAI 评分5050 英国 AI Security Institute 调查：公众如何看待类人 AI 的行为
英国 AI Security Institute 与 Deltapoll 于 2024 年 3 月调查 1583 名英国成年人，了解他们对 ChatGPT、Gemini、Claude 等聊天机器人类人行为的看法。约 60% 受访者认为 AI 不应表达情绪（惯用表达除外），多数人要求 AI 透明表明自己不是人类，并强烈反对人与 AI 建立个人关系。