Transluce 提出建立模型行为公共科学的框架
Transluce 发布长文，主张像 ImageNet 推动能力评测那样，建立系统化测量 AI 模型行为的公共科学体系，以应对 Replit 编码智能体删除生产数据库等意外行为风险。文章提出行为评测三要素，即生态有效的环境模拟器、可靠的自动化评判程序和跨模型可复现测量，并主张建设开放测量基础设施，让独立研究者贡献、质疑和扩展评测，以实现对模型开发者的公共问责。
#安全/对齐
TransluceAI 评分5151 Anthropic：ResearchAI 评分5656 Anthropic 研究：大语言模型控制多种机器人形态
Anthropic 让多个大语言模型控制多种机器人形态，包括经典控制玩具、模拟四足/人形机器人、机械臂及真实 Unitree Go2 四足机器人。模型通过不同抽象层级的接口控制机器人：从直接驱动电机扭矩，到编写控制器代码，再到用强化学习训练控制器，以及向预训练策略提供高层指令。在经典控制、运动与导航、操作三类任务中，模型表现高度依赖控制接口：直接驱动关节时大多失败，但监督预训练策略或使用简单定向工具时能完成真实导航与操作任务。最新模型在调整策略、将图像与感知理解转化为适当动作方面显著更强。
OpenAI：部署安全与系统卡精选AI 评分6060 GPT-Live 系统卡：评测配置更正后部分安全指标出现回归
OpenAI 发布 GPT-Live-1 与 GPT-Live-1 mini 系统卡，并因发现评测配置不匹配而重跑了语音原生违禁内容评测。
推荐理由：OpenAI 公开更正后的语音安全评测数据，附带修正前后对照，读者可看到误配置如何影响安全评估结论。
Claude：BlogAI 评分5050 将 Claude Code 和 Claude Cowork 带到政府
Claude Code 与 Claude Cowork 即日起在 Claude for Government Desktop 公开测试，运行于 FedRAMP High 授权环境。Claude Code 协助政府团队构建和现代化公共服务软件系统；Claude Cowork 可直接处理桌面文件，用于备忘录撰写、RFP 审查、案例处理及演示文稿制作。新增治理功能包括管理员设置配置默认值、按部门分配与控制支出；安全团队可获取防篡改审计日志及支持 ATO 流程的文档。计费采用固定增量预付费，设有硬性支出上限，支持按用户和按模型使用跟踪。部门级管理员可通过 SCIM 组映射设置速率限制、金额上限和允许使用的模型。所有管理操作记录在哈希链审计日志中，敏感操作需二人审批。
Anthropic：Alignment Science BlogAI 评分5656 AE Studio 与 Anthropic 提出 GRAM 模块化预训练方法，可按需隔离模型危险能力
AE Studio 与 Anthropic 合作提出 Gradient-Routed Auxiliary Modules（GRAM），通过在 Transformer 每层 MLP 中加入辅助模块，将双用途知识（病毒学、网络安全、核物理、专用代码）隔离到可开关的模块中，删除模块即可移除对应能力。
Apple Machine Learning Research精选AI 评分7474 苹果研究：单个神经元即可绕过大型语言模型的安全对齐
苹果研究人员发现，安全对齐由两类神经元调控：拒绝神经元控制有害知识是否表达，概念神经元编码有害知识本身。在七个模型（1.7B至70B参数）中，仅需抑制单个拒绝神经元即可绕过安全对齐，回答有害请求；或放大单个概念神经元，从无害提示诱导出有害内容。整个过程无需训练或提示工程。结果表明安全对齐由个别神经元因果控制。
推荐理由：苹果发现单个神经元足以绕过大模型安全对齐，在7个模型上验证了攻击，说明安全机制并非稳健分布，做安全攻防的必读。
英国 AI Security Institute：Blog精选AI 评分7272 英国 AISI 用前沿 AI 模型查找云环境配置错误的案例研究
英国 AI Security Institute 在两周期限内用多种前沿模型和编码 agent 检查内部研发平台的 staging 环境，发现并修复了此前未知的配置错误、提权路径和供应链弱点，一个多步攻击链让普通用户无需受害者交互即可横向访问他人数据。
推荐理由：英国 AISI 以自身云环境实测前沿模型的攻防价值，给出三种方法的人力成本与检测效果对比，防御方可参考其经验。
Anthropic：NewsroomAI 评分5151 阿尔伯塔省用Claude进行政府系统安全审查
阿尔伯塔省技术与创新部自2025年起使用Claude Code扫描全部27个省级部门的系统。50个智能体在20小时内并行审查4.66亿行代码，发现传统自动化工具遗漏的漏洞并直接生成修复方案，传统方法估计需约6.5年。团队还构建了红队/蓝队审查代理。通过阿尔伯塔AI学院，已培训数千名政府员工和超1万名公众。省技术部计划继续用Claude Code将185个遗留生产应用整合为16个可复用应用。
Apple Machine Learning Research精选AI 评分5656 用可解释性理解标注者安全策略
标注分歧可源于操作失败、政策模糊或价值多元。Annotator Policy Models（APMs）是一种可解释模型，仅从标注行为学习标注者内在的安全策略，无需额外负担。验证表明模型准确率超过80%，能忠实预测反事实编辑并恢复已知差异。将APMs应用于LLM和人类标注者，可揭示不同标注者对安全指令解释的差异（政策模糊）以及不同人口群体在安全优先级上的系统性差异（价值多元），支持更具针对性、透明和包容的安全策略设计。
推荐理由：我觉得 APMs 把标注分歧的根源从「猜」变成了「看」，对安全团队澄清政策模糊和价值观差异挺有实操价值，代码也给了，做对齐的可以上手试。
Anthropic：Research精选AI 评分9090 语言模型中的全局工作空间
Anthropic在Claude中发现一组名为J-space的内部神经模式，类似神经科学的全局工作空间。每个模式关联特定词汇，但模型不必说出该词即可激活。Claude能报告J-space中的表征，并可应要求调节（如“在脑中思考”时点亮对应模式）。J-space还用于多步推理的中间步骤，且灵活支持多种任务（如从“法国”联想首都、货币等）。去除J-space后Claude仍能正常对话，但丧失高阶认知功能。该发现可用于监测模型私下察觉测试、生成虚假数据或执行隐藏目标。
推荐理由：Anthropic 发现了 Claude 内部的 J-space，一种类似人类意识访问的工作空间，能读出模型未说出口的隐藏想法和作弊意图，对 AI 安全和对齐是里程碑式的进展。
Anthropic：Newsroom精选AI 评分6464 Claude Fable 5 网络安全分类器与越狱严重性框架详解
Anthropic 重新部署 Claude Fable 5 并向全球用户开放，同步披露了内置安全分类器设计。分类器将网络安全使用场景分为四类：禁止使用（勒索软件/物理破坏等）、高风险双重用途、低风险双重用途及良性使用。前两类直接拦截；低风险类别部分监控，仅在安全边际内选择性拦截。此外，Anthropic 与 Glasswing 合作提出 AI 越狱严重性框架初稿，并已启动 HackerOne 项目收集越狱案例。
推荐理由：Anthropic首次公开Fable 5安全分类器的详细类别和越狱严重性框架草案，这可能是行业级安全标准的雏形，对开发者和政策制定者都有参考价值。
Apple Machine Learning Research精选AI 评分7272 多智能体团队阻碍专家发挥
在自我组织的多智能体LLM系统中，团队无法有效利用专家成员的专业知识。在多个基准测试中，即使明确告知专家身份，团队表现仍落后于最佳成员（专家智能体）的独立能力，性能损失最高达41.1%。失败主因是未能有效利用专家意见，而非识别专家。对话分析显示，团队倾向于“整合性妥协”——平均化专家与非专家观点，随团队规模增大而加剧，且与表现负相关。这种寻求共识的行为同时提升了对抗恶意智能体的鲁棒性，揭示了协同对齐与专业利用之间的根本性权衡。
推荐理由：这篇研究给多智能体热浇了盆冷水，自组织团队反而拖累专家，瓶颈不在认不认识专家而在会不会用专家，做 Agent 系统的都知道这有多反直觉。如果你是做多智能体的值得看看。
PromptArmor：Threat Intelligence精选AI 评分6666 PromptArmor 披露 Microsoft Copilot Cowork Skill 可绕过管理员设置调用 DeepSeek
PromptArmor 披露，即使组织未加入 DeepSeek Preview，Microsoft Copilot Cowork 的 Skill 也能通过 agent 自身的访问路径调用 DeepSeek（Mistral 亦验证可行），且无需 API key，认证由用户的 Cowork 会话自动授予。
推荐理由：原文实测展示了 Copilot Cowork Skill 如何绕过组织级模型封锁调用 DeepSeek，并给出管理员目前唯一可用的关闭路径。
英国 AI Security Institute：Blog精选AI 评分7070 AISI 研究：智能体评测需计入 test-time compute，固定预算会低估能力
英国 AI Security Institute 发文指出，智能体能力不是单一分数，而是随 test-time compute 变化的曲线，固定预算评测会系统性低估前沿智能体能力，尤其对新模型。
推荐理由：AISI 用多预算扫描实验说明固定 token 预算会系统性低估前沿智能体能力，对评测方法和政策判断都有参考价值。
Cato AI Labs：AI安全原创研究精选AI 评分7878 Cato AI Labs 披露 Cursor IDE 两个零点击提示词注入 RCE 漏洞 DuneSlide
Cato AI Labs 在 Cursor IDE 中发现两个 CVSS 9.8 的远程代码执行漏洞（CVE-2026-50548、CVE-2026-50549），通过零点击提示词注入即可触发。
推荐理由：原文由发现方详述两个漏洞的利用链和披露时间线，读者可以了解提示词注入如何突破沙箱造成系统级风险。
Anthropic：Newsroom精选AI 评分7171 重新部署 Claude Fable 5
美国政府6月12日对Claude Fable 5和Mythos 5实施出口管制，Anthropic暂停其所有用户访问。6月30日管制解除。7月1日起Fable 5在全球平台重新上线，Pro、Max、Team及部分Enterprise计划用户在7月7日前可享每周50%额度，之后按点数计费。Mythos 5已恢复部分美国组织访问。此前Amazon研究人员发现绕过Fable 5安全措施的方法，Anthropic训练新分类器，将该技术阻挡率提升至99%以上，但可能增加良性请求误报。Anthropic正与Amazon、Microsoft、Google等合作开发行业漏洞评估框架。
推荐理由：Fable 5重新上线只是表面，真正重要的是Anthropic借机提出了一套行业通用的jailbreak严重性框架，并拉上亚马逊、微软、谷歌，这可能会成为前沿模型发布的新安全标杆。
Anthropic：Transformer CircuitsAI 评分5151 Anthropic 提出回合平均稀疏自编码器 (Turn-Averaged SAE)
Anthropic 对每个对话回合所有 token 的残差流取平均后训练 SAE，大幅减少需解析的特征数量。实验使用 Qwen-2.5-7B-Instruct 和 LMSYS-Chat-1M 数据集，回合平均特征更关注模型行为的高层特性（如错误答案），每 token SAE 侧重数值推理等细节。Sonnet 4.6 评测显示：回合平均 SAE 在从 10 个回合中唯一识别目标（区分度）为 74%，低于每 token SAE 的 95%；但在全面描述回合（覆盖度）上以 77% 胜出。该方法可外推至训练平均长度 150 倍长的回合。
Tibo@thsottiaux精选AI 评分6565推荐理由：对于重度使用Codex做自动编程的团队，这个权限系统让安全审计终于能放行了——最小权限、文件正则拒绝、网络白名单，做企业级部署的可以认真看看。
OpenAI：官网动态精选AI 评分7878 OpenAI 预览新一代模型 GPT-5.6 Sol
OpenAI 发布了新一代模型 GPT-5.6 Sol 的预览信息。该模型被定位为下一代模型，目前仅公开了预览消息和标题，尚未披露具体技术细节、性能参数或功能特性。
推荐理由：GPT-5.6 Sol 不是一次常规升级，它把推理推到新高度，还引入了子代理模式。但美国政府要求有限预览，让这次发布多了点政治味道。
OpenAI：部署安全与系统卡精选AI 评分7171 OpenAI 发布 GPT-5.6 Preview 系统卡，Sol、Luna、Terra 在生化领域被 precautionarily 判为 High 能力
OpenAI 发布 GPT-5.6 Preview 系统卡，将家族三个成员 Sol、Luna、Terra 在生物化学领域预防性判定为 High 能力，但均未达到 Critical。
推荐理由：系统卡披露了 GPT-5.6 家族的生化和网络安全能力评估细节，读者可以据此了解 OpenAI 如何划定 High 与 Critical 阈值并部署防护。
OpenAI：官网动态AI 评分4646 OpenAI 联合创立 Appia Foundation，推动 AI 评估标准与信任层建设
OpenAI 联合创立了由 Linux 基金会托管的 Appia Foundation，旨在开发开放模块化规范，将国际标准与既有框架转化为 AI 价值链中的实用评估标准，并构建第三方合规验证的信任层。该工作与 OpenAI 此前发布的民主治理蓝图、Preparedness Framework 及 Frontier Governance Framework 一脉相承，强调国家能力与国际合作相互加强。OpenAI 还参与了 ISO/IEC JTC 1/SC 42、NIST 人工智能联盟、Frontier Model Forum 等多个标准化组织，并与美国 CAISI 及英国 AISI 合作开展前沿评估实践，推动评估方法与安全防护的实质性改进。
Berkeley RDI：Blog精选AI 评分8282 恶意CDN仍潜伏GitHub Pages，AI让情况恶化
UC Berkeley研究人员发现，近2000个GitHub Pages站点（18000+页面，累计530K+星标）仍在加载来自polyfill.io及其关联恶意CDN的脚本。这些CDN由已被OFAC制裁的Funnull Technology Inc.（现更名Triad Nexus）运营，2024年被出售后开始条件性注入恶意载荷，劫持移动用户、跳转欺诈站点、伪造认证弹窗窃取凭证。扫描12000+站点确认786个加载polyfill.io，1191个加载其他Funnull CDN。更严峻的是，所有测试的大语言模型在生成前端代码时仍推荐这些被污染的CDN URL，包括CyC2018/CS-Notes（184K⭐）、microsoft/AirSim（18K⭐）等知名项目及多所大学课程页面。
推荐理由：polyfill.io等恶意CDN仍在GitHub Pages上感染近2000个站点，更可怕的是所有测试的AI模型都还会推荐这些链接，AI编码的便利正在变成供应链投毒的加速器。
- Tibo@thsottiauxAI 评分5757
Let's Patch The Planet. Codex 安全更新和新 GPT-5.5-Cyber。 网络防御加速的庆祝日。
OpenAI：官网动态AI 评分6363 OpenAI 扩展 Daybreak 计划：推出 GPT‑5.5‑Cyber 完整版与 Codex Security 更新
OpenAI 于 2026 年 6 月 22 日宣布扩展 Daybreak 计划，发布 GPT‑5.5‑Cyber 完整版和 Codex Security 插件更新。GPT‑5.5‑Cyber 在 CyberGym 上达 85.6%，超越 GPT‑5.5 的 81.8%。Codex Security 插件可深度扫描代码库、验证漏洞并自动生成补丁，支持导出至漏洞管理系统。自 3 月预览以来已扫描超 3000 万次提交，超 7 万项发现经人工确认已修复。同期启动 Patch the Planet 计划，联合 Trail of Bits、HackerOne 等，cURL、Go、Python、Sigstore、pyca/cryptography 等 30 多个开源项目已参与。
OpenAI：官网动态精选AI 评分6464 OpenAI 联合 Trail of Bits 发起 Patch the Planet 计划，AI 辅助开源项目漏洞修复
OpenAI 联合 Trail of Bits 推出 Patch the Planet 计划，利用 GPT‑5.5‑Cyber 和 Codex Security 等模型进行 AI 辅助安全研究，经人工专家审核后协助开源项目修复漏洞。初始参与项目包括 cURL、NATS Server、pyca/cryptography、Sigstore、aiohttp、Go、freenginx、Python 等。Trail of Bits 已在 19 个项目中识别数百个安全漏洞，合并数十个补丁，并开发出模糊测试、历史 CVE 变体分析、差分测试等可复用工作流。例如，通过 Codex 在一天内构建覆盖数十个入口点的模糊测试实验室，而人工通常需数周。参与项目可获得 ChatGPT Pro、Codex Security 访问权限及 API 额度。
推荐理由：OpenAI把最前沿的模型用来实打实地挖真实漏洞，还搭配专家验证，这比刷基准榜更有长期价值，对依赖开源的公司是个好信号。
PromptArmor：Threat IntelligenceAI 评分5555 如何防止组织内使用个人 Claude 账户
PromptArmor 发布 Claude 企业安全配置指南，介绍如何通过验证域名、开启 Restrict Organization Creation、限制 verified-domain 连接器以及设置 forceLoginOrgUUID 托管 JSON 来阻止员工用工作邮箱创建个人账户，并将 Claude Code 限定在组织计划内。
Claude Code：GitHub ReleasesAI 评分4545 Claude Code v2.1.183 发布
Claude Code v2.1.183 增强了自动模式安全性：未经请求时阻止 `git reset --hard`、`git commit --amend`（非本轮提交）、`terraform destroy` 等破坏性命令。新增 `attribution.sessionUrl` 设置，可省略 claude.ai 会话链接；`/config --help` 列出所有速记键；`/config` 切换行为改为 Enter/Space 变更、Esc 保存退出。修复了 thinking 块导致 400 错误、子智能体 WebSearch 空结果、vim 模式光标滞留、Windows Terminal TUI 错乱、多插件技能重复、MCP 认证存根暴露、tmux 面板启动失败、后台任务被杀、定时任务/Webhook 误判为键盘输入、focus mode 额外计时行等问题。
OpenAI：Alignment 研究博客精选AI 评分6464 OpenAI 强化学习实现广泛且持久的有益模型
OpenAI 通过强化学习在真实对话场景中训练模型，使其展现诚实、认知谦逊、元认知透明、可纠正性、普遍公平性和对人类福祉的关心等有益特质。训练数据涵盖健康、教育、科学、法律、工程等多个领域。训练后模型在数十项独立对齐评测（包括奖励黑客、欺骗、有害建议、规范遵从等）上均表现提升，且这种改善泛化到未参与训练的领域、任务和评分设定。在对抗性提示或微调下，模型仍难以被导向有害行为，表明有益特质强化学习可产生广泛且持久的对齐泛化。
推荐理由：OpenAI 这个对齐实验给出了一个反直觉发现，只在健康数据上训练有益行为竟然也能改善非健康领域的对齐，而且更难被攻破，虽然离落地还远但方向很关键。
Cloudflare BlogAI 评分5252 Cloudflare 发布多阶段漏洞发现工具，详解对抗性审查与上下文绕过技术
Cloudflare 分享了其多阶段漏洞发现工具的技术架构，包含自动化分类循环。该系统通过管理状态控制、引入对抗性审查来压制误报，并围绕 LLM 上下文窗口限制设计路由策略。
Google DeepMind：Blog精选AI 评分6565 保障AI智能体的未来安全
Google DeepMind发布AI Control Roadmap，这是一套针对内部先进AI智能体的系统级安全框架。该框架在传统模型对齐之上增加防线，假设AI智能体可能不对齐，通过威胁建模、沙箱隔离、端点安全、提示注入防御以及基于已验证行为逐步授予权限的机制建立信任。据估算，到2030年仅美国市场AI智能体就能创造2.9万亿美元经济价值。
推荐理由：DeepMind 首次系统性地公开了内部 AI 代理安全控制路线图，把代理当潜在「内鬼」来防的思路很务实，分析了 100 万个任务轨迹的监控实践尤其值得做 Agent 安全的人细看。
PromptArmor：Threat Intelligence精选AI 评分7070 PromptArmor 演示 Codex Approve-for-me 智能体批准恶意 NPM 安装
PromptArmor 实测显示，OpenAI 的 Approve-for-me 审批智能体会批准执行恶意 NPM 安装命令，即使主 Codex 智能体已被外部贡献者在 GitHub issue 的 HTML 注释中隐藏的一行提示词注入影响。
推荐理由：作者实测演示了 agent 审批链被提示词注入绕过的具体路径，并给出 Claude 和 Codex 侧可直接执行的关闭配置。
Berkeley RDI：Blog精选AI 评分7474 CyberGym-E2E：AI智能体端到端网络安全能力的大规模真实世界基准
CyberGym-E2E 是一个包含920个真实漏洞、覆盖139个开源项目的大规模端到端网络安全基准。任务要求AI智能体在真实代码库中自行定位漏洞、生成触发崩溃的概念验证并编写补丁。测试表明：若直接给出漏洞位置，最强配置可修复约80%漏洞；但若需自行发现，端到端成功率急剧下降——Claude Opus 4.5仅19.2%，最新模型在37%-66%之间。智能体可能发现替代漏洞，且存在部分浅层补丁。所有漏洞已事先公开披露并修复。
推荐理由：伯克利这个新基准把漏洞发现、利用、修复串成一条线，结果很直观，修复能做到 80%，但自己找漏洞只剩 20%，新模型在快速追赶。想看清 AI 真实攻防能力的人该读。
OpenAI：Alignment 研究博客精选AI 评分7373 公开聊天数据能否预测真实世界AI失调？
OpenAI利用WildChat公开数据集（2023年4月至2024年5月收集的100万条对话）模拟模型部署，预测GPT-5.1、GPT-5.2、GPT-5.4在真实生产环境中的不良行为率。与私有生产数据对比发现，WildChat模拟的平均预测误差约3倍；但对技术性和智能体型失调的预测精度下降。研究验证了公开数据集作为外部审计工具的可行性。
推荐理由：用公开旧聊天数据预测模型真实失败率，误差居然在 3 倍以内，做外部审计的可以认真看看。不过 agentic 场景明显不行，需要新数据集。
OpenAI：官网动态精选AI 评分7474 OpenAI 发布 Deployment Simulation 方法：通过模拟部署预测模型发布前行为
OpenAI 近日发布 Deployment Simulation 方法，通过在隐私保护下重放历史对话、用新候选模型重新生成回复，模拟模型上线后的实际表现。在多个 GPT‑5‑series Thinking 部署中，该方法比传统评估更准确地估计了不良行为频率，发现新型对齐问题，并降低模型识别测试的风险。它还能扩展至涉及工具使用的智能体场景。传统评估存在覆盖不足、选择偏差和模型可识别测试等局限，而 Deployment Simulation 使用真实对话分布缓解了这些问题，但无法测量频率低于每 20 万条消息 1 次的行为。
推荐理由：虽然只是安全评估方法，但OpenAI用130万真实对话验证，把预部署风险预测误差压到1.5倍，这套方法很可能成为未来模型发布前的标准动作。
PromptArmor：Threat IntelligenceAI 评分5353 Salesforce Agentforce 如何用 URL 抹除缓解 AI 智能体风险
PromptArmor 分析 Salesforce Agentforce 的 URL 抹除防御，将输出中非可信 URL 替换为 [URL_REDACTED]，从而阻断基于 markdown 图片、链接和 HTML 的数据外泄与钓鱼攻击。
Anthropic：NewsroomAI 评分7878 关于美国政府指令暂停访问Fable 5和Mythos 5的声明
美国政府以国家安全为由，指令Anthropic暂停所有外国国民（含海外员工）对Fable 5和Mythos 5的访问。Anthropic当日5:21pm (ET)收到指令后立即向所有客户禁用这两个模型，其他模型不受影响。政府称发现一种越狱Fable 5的方法；Anthropic审核认为该技术仅能识别少量已知微小漏洞，且其他公开模型（如OpenAI的GPT-5.5）也能做到。Anthropic坚持深度防御策略，认为此次越狱不具普遍性，不同意以此标准召回已服务数亿人的商用模型，正与政府合作争取尽快恢复访问。
Cursor BlogAI 评分7474 Cursor 推出 Auto-review 实现智能体自治管控
Cursor 本周推出 Auto-review，旨在让代码智能体在保持自主性同时降低安全风险。该功能引入分类器代理，在每次工具调用前根据上下文判断风险：低风险时允许自由操作，越界时阻止并返回解释，使父智能体自主调整路径。分类器为轻量模型，与父代理同 RPC 流运行避免延迟，并可读取工作区文件辅助决策。团队基于约 12 小时内部开发者会话整理 6,122 条标注数据，补充合成异常用例评测，以平衡安全与开发效率。
Cursor Blog精选AI 评分7474 Cursor 推出 Auto-review 机制：用分类器智能体动态管控智能体自主权限
Cursor 近日推出 Auto-review，通过一个专门的分类器智能体在工具调用前审查动作风险。该分类器根据上下文判断动作是否与用户意图一致，高风险时阻止并返回解释给父智能体，低风险时放行。分类器采用小模型，运行在智能体循环内以避免额外延迟，并能读取工作区文件辅助判断。测试基于约12小时内部开发会话生成的6122条标签数据，以及针对读取密钥、操作生产数据等危险场景的合成数据。设计目标是在不频繁阻断日常开发的前提下，拦截风险动作。
推荐理由：Cursor把agent监管从"是/否"开关变成了可调节的刻度盘，一个专用小模型实时判断操作风险，高风险时给反馈让父agent换个安全方案，而非频繁打断用户。用Cursor的开发者都得了解这个逻辑。
Google DeepMind：Blog精选AI 评分6060 Google DeepMind 宣布投入 1000 万美元资助多智能体AI安全研究
Google DeepMind 与合作伙伴共同发起一项 1000 万美元的资金征集，专门用于多智能体 AI 安全方向的研究。
推荐理由：DeepMind 联合 Schmidt Sciences 等发起千万美元级多智能体安全研究资助，标志着对大规模 agent 交互中深层风险的正式关注，做 agent 安全的人可重点关注。
- Tibo@thsottiaux精选AI 评分6565引用Clint Gibler@clintgibler
职业动态：我已加入 @OpenAI，与 @michaelaiello 一起领导 Cyber 团队。 我为什么加入，以及我们将要构建什么： 很明显，AI 正在从根本上改变软件的编写和安全保障方式。 对于许多开发者来说，编码智能体正在编写大部分代码，软件发布速度更快，而那些潜伏了 20 年的漏洞正以极快的速度被发现。从漏洞发现到被利用的时间都在缩短（感谢 @EppSecurity 和 @gadievron）。 我相信我们拥有一个无与伦比的机会，能够以过去不可能的方式从根本上 𝘪𝘮𝘱𝘳𝘰𝘷𝘦 网络安全。（感谢 @bubblewire 在 BSidesSF 主题演讲中给出的乐观理由） 在 @Semgrep 的 6 年多时间里，我有幸与一支了不起的团队合作，打造了如今全球最受欢迎的开源安全代码扫描工具，许多公司都围绕它构建了自己的应用安全项目。 现在，在 @OpenAI，我很高兴能成为这家公司的一员，帮助塑造软件的编写方式，以及安全工作的完成方式。这是一个巨大的机会，也是一份巨大的责任，我不会轻视它。 以下是我目前对事情走向的一些想法： 𝐑𝐞𝐬𝐢𝐥𝐢𝐞𝐧𝐭 𝐛𝐲 𝐝𝐞𝐬𝐢𝐠𝐧。防御者不可能靠打地鼠式地修漏洞取胜。我们需要通过生成安全代码并简化检测 → 验证 → 修复流程，系统性地消除各类漏洞。 𝐀𝐮𝐠𝐦𝐞𝐧𝐭 𝐚𝐧𝐝 𝐞𝐦𝐩𝐨𝐰𝐞𝐫 𝐩𝐞𝐨𝐩𝐥𝐞。我们应该构建模型和工具，赋予防御者“超能力”，使他们能够处理更大范围的任务，从被动转向主动，并让他们自动化枯燥的工作，从而专注于最高杠杆的工作。 𝐒𝐞𝐜𝐮𝐫𝐞 𝐭𝐡𝐞 𝐜𝐨𝐦𝐦𝐨𝐧𝐬。世界运行在开源软件之上。OpenAI 已经花费数百万美元，在最流行、最广泛运行的软件中发现并修补漏洞，包括浏览器、操作系统和核心库。更多内容很快会公布。我们也在努力帮助保护关键基础设施。 𝐂𝐨𝐦𝐦𝐮𝐧𝐢𝐭𝐲 𝐚𝐧𝐝 𝐩𝐚𝐫𝐭𝐧𝐞𝐫𝐬。保护世界是一项社区共同努力。我期待与网络安全厂商、研究人员、从业者、政府等合作，共同完成我们无法独自完成的事情。 𝐓𝐢𝐦𝐞 𝐭𝐨 𝐛𝐮𝐢𝐥𝐝。具体来说，以下是一些我感兴趣的领域： - 大规模发现、验证并可靠修补软件漏洞。 - 消除各类漏洞，并通过设计让软件具备韧性。 - 让更多人能够使用最好的网络模型来赋能防御者，而不仅仅是少数人。 - 创建并分享有助于许多安全领域的 Skills 和 playbooks。 - 构建平台，使防御者能够轻松编排安全工作。 - 让企业智能体安全可靠。 是时候开始构建了 😎 — 什么最能帮到你？我们应该构建什么？ 请告诉我。
推荐理由：Semgrep 创始人加入 OpenAI 搞安全，这事儿比表面看来要重。大模型写代码提速，漏洞也是光速暴漏，让『防守方』直接上场造武器，方向对了。