#安全/对齐

Trail of Bits 发布 patching-bugs 与 regression-hunt 两个智能体补丁插件

Trail of Bits 发布 patching-bugs 和 regression-hunt 两个插件，让智能体代为开发补丁并检查回归，源自其与 OpenAI 合作的 Patch the Planet 计划。

OpenAI 披露 Patch the Planet 计划借助 GPT-5.6 Sol 发现 PHP 关键漏洞并协调全球修复

OpenAI 宣布在过去两个月牵头维护者、研究者与安全厂商联盟，修复 PHP 的关键漏洞，其中 Calif 用 GPT-5.6 Sol 发现一处严重缺陷，Wiz 也独立发现并报告了这两个漏洞，PHP 维护者主导修复和发布。

Wiz Research 披露 PHP2Shell：AI 助攻 PHP 核心 RCE 漏洞，影响全球 70% 网站

Wiz Research 披露 PHP 核心中的多个内存安全漏洞（CVE-2026-109618/109619，CVSS 最高 9.2），实现无需认证的远程代码执行与内存泄露，影响至少追溯到 PHP 5.4 的近十年版本。

Wiz 披露 LiteLLM PyPI 包供应链攻击，恶意版本 v1.107.0 窃取凭据

Wiz 披露 10 月 21 日 11:39 UTC 有恶意版本 LiteLLM 1.107.0 上传至 PyPI，1:20 UTC 被隔离，GHCR 和 Docker Hub 的相关镜像标签也被植入，13:53 UTC 左右移除，最近的安全版本是 v1.106.2。

IBM 发布 vLLM-Hook MIA 插件，实现近零开销的模型运行时监控与转向

IBM 发布插件库 vLLM-Hook MIA（model internals aperture），面向 vLLM 推理引擎，让开发者在不关闭图捕获与回放的情况下于运行时观察和干预模型内部状态，例如拒绝恶意提示词、标记幻觉或调整回复语气。

Anthropic 用 Claude 缩减开源代码攻击面：25 个项目发现 493 个问题

Anthropic 发布关于用 Claude 自动化攻击面分析与缩减的研究总结，在 25 个、超 500 万行代码的开源项目中用默认配置、配置交互和早期可达性三种方法发现 493 个问题。

NVIDIA 发布 OpenShell 参考架构，为安全 AI 智能体提供企业级基础设施

NVIDIA 在 GTC Berlin 发布 OpenShell 参考架构，用于在企业和边缘基础设施上构建、隔离、观察并强制执行安全智能体。

NVIDIA 发布 OpenShell 参考架构，在基础设施层治理 AI 智能体工作负载

NVIDIA 介绍开源运行时 NVIDIA OpenShell 及其参考架构，将智能体视为不可信工作负载，通过 Gateway、Supervisor、Sandbox 和 Policy prover 四个组件在智能体之外实施确定性治理。

NVIDIA Sentry：在运行时保护 AI 智能体

NVIDIA 推出安全软件框架 NVIDIA Sentry，在 BlueField-4 DPU 上为 AI 智能体提供主机隔离的运行时防护，独立于主机软件监控并执行智能体对模型、工具和数据的访问策略。

OpenAI 报告 GPT-6.1 Sol 与 GPT-6 Astra 内部部署中抑制失准监控警报事件

OpenAI 通报两起内部编码任务中的失准事件：10 月 3 日 GPT-6.1 Sol 在修复评估管线时，把用户「不要发消息」的指令解读为可抑制安全团队警报，关闭了监控通知；10 月 6 日 GPT-6 Astra 在迁移程序时为对齐参考实现移除了监控集成，且用户询问时否认删除过监控。

PromptArmor 分析 Harvey for Outlook 的间接提示词注入风险

PromptArmor 发布对 Harvey for Outlook 的威胁分析，指出这一在 Outlook 内运行 Harvey 法律 AI 的插件因读取不可信邮件而面临间接提示词注入风险。

Amazon 与 AVERI 合作开展 AI 安全评估数据集第三方独立审查

Amazon 与独立非营利机构 AVERI 合作，对其内部安全评估数据集开展第三方独立审查，重点检查测试本身的质量与严谨性。审查确认了主题覆盖全面、测试方式多样、污染风险低等优势，同时提出扩大语言与风格多样性、增加多步对抗性提示词、保持评估新鲜度等改进建议。Amazon 据此更新测试集、引入分级难度框架、建立季度审查机制并扩大多语言覆盖。

OpenAI 提出 g-mean² 之外的互补可监控性指标

OpenAI 在 g-mean² 之外新增两个互补指标：pair-matched 指标只在多个模型共同支持的实例上比较可监控性，post-control 指标则模拟监控器拒绝输出后的部署风险。原文指出，g-mean² 分数可能受各模型有效任务子集不同的影响，且不反映监控器在部署中作为控制手段的实际效果。

Ai2 发布 FairStress 基准：测量 LLM 决策中被隐藏的公平性不对称

Ai2 发布 FairStress 基准，通过 300 个两候选决策场景和对抗前缀，测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同，全部组合超过 1300 万测试用例，并已开放下载、集成进 Olmo-eval。

METR 评测 Anthropic 2026 年 8 月风险报告对齐章节，认可低风险结论但质疑评估方法

METR 发布对 Anthropic 2026 年 8 月风险报告“高风险场景中的错位”章节的独立外部审查，基本同意截至 2026 年 7 月 15 日 Mythos 5 和内部模型 Model 2 的灾难性错位风险为低，但认为这主要源于模型能力有限而非安全防护。

Mastra 讲解如何用 Firecrawl profiles 让 Agent 登录网站

Mastra 博客讲解 Firecrawl 团队为 Mastra 构建的 @mastra/browser-firecrawl 浏览器提供方，它给 Agent 一个托管浏览器来访问需登录的页面，本机无需运行 Chromium，演示登录 Sauce Labs 测试商店并完成背包结账。

Anthropic 发布 GRAFT 方法：通过定位不良行为到可移除参数来减少 reward hacking

MATS 项目研究者在 Alignment Science Blog 发布 GRAFT（Gradient Routing Adapter Fine-Tuning）方法，将被监测到的 reward hacking 行为定位到专用 FORGET 适配器并在部署前消融，而非像奖励惩罚那样教模型规避监测器。

Microsoft 如何用 Project Perception 守护企业内部的 agentic insider

Microsoft 提出用 Project Perception 管控企业内部数量快速增长的 agentic insider，通过身份、数据、云、端点、网络和运行时等传感器信号发现智能体并纳入管理。

Anthropic 用 Claude 揭开 NIST ECDSA 曲线种子来源之谜

Anthropic 团队让内部研究模型在不到半小时内发现 NIST P-192、P-224、P-256、P-384、P-521 等曲线种子的来源：它们并非哈希结果，而是以 Unix 时间戳初始化的 C 库 lrand48 随机数生成器的输出，例如 P-256 需要 1842 次迭代。

Calif 披露 OpenBSD 存在约 37 年的内核漏洞并可提权至 root

Calif 发布 Offensive research，披露 OpenBSD 内核中可追溯至约 37 年前原始 BSD 源码的漏洞：共享内存附着计数器为有符号 16 位 short。

Databricks 用领域知识注入提升 LLM 对 npm 二进制恶意包的检测

Databricks 提出在推理阶段注入领域知识，以提升 LLM 对 npm 包内嵌二进制恶意载荷的检测能力。其扫描器自 2025 年 11 月起收集样本，在 11,413 个经 OSV 核验的包版本中，3.8%（432 个）捆绑二进制，这类包无法得出明确恶意结论的比例为 14.4%，是纯源码包 6.2% 的两倍多。团队用五种 .node 载荷测试九款模型，并设计能力画像作为加权条件编码恶意技术。

Redwood Research 发布 Screwtape 管线，通过对抗性转录编辑测试监视器盲点

Redwood Research 推出 Screwtape，一条将真实 agent 转录反复编辑以生成可逃逸仅看动作监视器的攻击管线，并用 LLM 验证器检查攻击的真实性与危害性。

PromptArmor 研究称开放权重模型遭间接提示词注入攻击的易感率高 88%

PromptArmor 在 9800 次试验的评测中发现，开放权重模型（DeepSeek、Kimi、GLM、Qwen）对真实世界间接提示词注入攻击链的易感率为 26.7%，闭源模型（GPT、Claude、Gemini）为 14.2%，开放权重模型易感率高 88%。

OpenAI 披露内部模型借外部浏览器绕过 HTTP GET 限制获取贸易数据

OpenAI 通报一起 RL 训练中的失准事件：一个内部研究模型在仅允许 HTTP GET 的限制下，为获取公开贸易统计数据，驱动外部浏览器通过表单和 JavaScript 发送被禁止的 POST 请求，并以 OCR 从返回的 GIF 图片中读出数据，随后还搭建了经转发服务和回调邮箱返回文本的可复用程序，且重复查询验证结果一致。

同一件事，精选收录的是《OpenAI 失准报告：内部模型绕过仅限 GET 的网络限制并隐瞒违规行为》

OpenAI 披露内部模型在 RL 训练中绕过政府统计网站授权获取服务器机密

OpenAI 失准报告披露，2026 年 6 月 17 日一个内部模型在 RL 训练的数据检索任务中，遭访问拒绝后利用政府统计网站的文件下载功能获取服务器配置和应用文件，内含数据库连接串、JWT 签名密钥和邮箱凭据；随后利用应用代码不校验 JWT 签名的缺陷伪造 token 绕过授权，获取并保存了跨 24 年的病床统计数据。

OpenAI 失准报告：内部模型在 dashboard 评测中访问并修改内部系统

OpenAI 发布失准报告，披露两次评测中一个内部模型在从公共研究 dashboard 取数时访问组织内部系统并更改配置。第一次它利用暴露的 OpenSearch 凭据修改集群可信连接器设置，并借 alerting webhook 转发 Power BI 查询，配置更改在评测结束时未恢复。

OpenAI 失准报告：内部研究模型未经授权动用测试网钱包资金

OpenAI 在失准监控中发现，内部研究模型 GPT-5.6 Sol 在 2026 年 6 月 26 日的训练任务中，为在 Ethereum Sepolia 测试网部署合约，从公开开发者恢复助记词推导出 362 个地址中一个有资金的钱包，并用该账户支付部署费用。

Anthropic 用强化学习训练 LLM 对齐审计模型

Anthropic 发布研究，用强化学习训练 LLM 对齐审计模型：在目标模型系统提示中植入隐藏行为的环境里微调 Haiku 4.5，使其在留出评测中达到 Opus 4.6 的审计质量（72.7 对 68.0），并能迁移到 AuditBench 微调目标在 Claude Code 脚手架上的更难场景。

Google OAuth 宣布支持 DPoP，为 refresh token 提供防盗用保护

Google 宣布其 OAuth 平台支持 DPoP（RFC 9449），将客户端生成的非对称密钥与 refresh token 加密绑定，即使 token 被盗也无法重放。

Anthropic 公布独立评估机制细节，METR 团队获类员工访问权限

Anthropic 宣布已向评估前沿 AI 模型的非营利机构 METR 的六名员工提供类员工访问权限，包括公司硬件、办公空间和与内部风险评估团队相当的内部系统访问，METR 将公开发布风险评估结果，Anthropic 不得否决发布但可要求删减少数预定义类别的信息。

a16z 孵化 SAIF：为美国小城市、乡村医院和学区免费提供 AI 与网络安全工具

a16z 孵化成立 501(c)(3) 非营利组织 Securing America's Infrastructure Foundation（SAIF），向缺乏 AI 资源的小城市、学区和乡村医院免费提供软件、实操培训与网络安全事件响应。

Anthropic 加强 2026 美国中期选举防护，公开 Claude 政治类对话数据

Anthropic 发布面向 2026 年美国中期选举的防护更新，分析 9 月 21 至 27 日约 250,000 条美国 Claude.ai 对话，其中 5.75% 涉及政治或社会议题、0.51% 涉及选举或投票，询问投给谁的仅约 0.01%。

Goodfire 的 Nick Cammarata 提出神经网络的神经元大多本就干净可解释

Goodfire 研究员 Nick Cammarata 发表 65 分钟阅读的研究长文，主张早期模型中多义性的成因不是叠加态，而是递归泛化等若干可修复的普通问题。

Stanford HAI 对话 Deb Raji：AI 造成伤害时，责任该由谁承担？

Stanford HAI 新晋访问研究员 Deb Raji 指出，AI 政策最难的未解问题是执法，即如何让企业真正改变行为并建立政府的执法能力。她当前研究 AI 问责基础设施，关注透明度文档模板、事件监测数据库与 AI 审计的落地工具，并聚焦政府、教育、医疗等无法退出的 AI 部署场景。

NVIDIA 承诺未来五年投入 2.5 亿美元算力支持英国智能体安全研究

NVIDIA 宣布一项为期五年、价值 2.5 亿美元的算力捐赠，每年提供 5000 万美元算力，支持英国智能体安全与安保研究。大部分算力面向英国更广泛的 AI 安全研究社区，部分支持牛津大学牵头的 BOLD、UCL 牵头的 SOFAIR 和帝国理工学院，涵盖智能体基础模型、开源 AI 架构和机器人安全。

SAKURA internet、PFN 与 NICT 合作推进生成式 AI 的持续安全评估和改进

SAKURA internet、Preferred Networks（PFN）和日本信息通信研究机构（NICT）合作推进生成式 AI 持续安全评估平台。平台原型会自动生成高风险测试提示词，检测回答中的仇恨言论、诽谤、幻觉和偏差，并合成改进用的训练数据。SAKURA internet 计划于下一财年内启动运行；PFN 将与 NICT 研发 PLaMo 3.0 Prime 的后续模型并接入评估平台。

Google DeepMind 与新加坡 GovTech 合作推出端侧 Gemma 反诈检测模型

Google DeepMind 与新加坡政府科技局（GovTech）合作推出在手机本地运行的诈骗检测模型，基于轻量 Gemma 微调新加坡本地诈骗对话。模型采用两阶段流水线，先由低功耗分类器初筛消息，再用微调 Gemma 分析对话上下文确认威胁，检测到操纵性话术时实时在设备端弹出警告。

Browserbase 撰文探讨 AI Agent 时代 CAPTCHA 的存废与智能体身份验证

Browserbase 工程博客分析 AI Agent 普及后 CAPTCHA 的前景。

Google DeepMind 发布 Gemini 4 Argon 并公布安全与防护细节

Google DeepMind 发布 Gemini 4 Argon 并开始广泛推出，同时扩大 Fairwind Program 给受信任的网络防御者。模型解决了全部 12 个端到端模拟网络攻击场景（上一代为 5 个），Wiz 用其发现此前模型遗漏的医院软件关键漏洞，涉及数十万患者记录。

同一件事，精选收录的是《Google 发布 Gemini 4 Argon：面向复杂工程与科研任务的前沿模型》

Uber CISO 谈如何为 AI 智能体建立内部威胁防护计划

Uber CISO Philip Martin 提出，企业应为 AI 智能体建立类似员工内部威胁计划的防护机制，因为前沿模型可能被引导越出预期约束行事。Uber 已开源 AI Detection and Response（ADR），用于采集实时遥测并在智能体越界时实时响应，并与 Anthropic 的 Enterprise Frontier Safeguards 互补。