#安全/对齐

GitHub 详解基于 ModernBERT 的密钥检测模型如何以更低成本和噪音找到更多真实密钥

GitHub 公开其新密钥扫描分类器的设计与训练细节：先用正则生成候选，再用微调 ModernBERT 结合文件路径、变量名和上下文判断是否为真实密钥。相比此前 LLM 管线，仓库所有者加权接受率提升 11.5%，post-push 扫描中位执行时间降低 86%，服务成本下降超过 98%；模型导出为 ONNX 并做 8-bit 量化，且已将通用密钥检测扩展到 push protection。

Anthropic 强化针对蒸馏攻击的防御， reasoning token 提取量下降 10 到 100 倍

Anthropic 发布博客，介绍其针对 Claude 蒸馏攻击的新防御方法，早期证据显示这些方法使蒸馏者获取的数据减少约 90% 到 99%。

Anthropic 研究：小型 AI 模型可能接近在 IoT 设备上自主复制

Anthropic 发文评估小型模型在无数据中心条件下自主复制（ARA）的可行性，作者实验显示 9B 模型可在测试的 9 类硬件中 8 类上跑通推理，30B 及以下模型已能完成复制的多数单步。

英国 AISI 提出前沿 AI 开发技术最佳实践方向

英国 AI Security Institute（AISI）发布前沿 AI 开发技术最佳实践主张，指出风险正更早出现在训练、内部部署和评估阶段，而能力基准往往刚建立就饱和。AISI 称已独立评估超过 55 个模型，并开源 Inspect 评估框架，主张通过自愿性最佳实践而非强制要求推进技术标准。

OpenAI 报告：RL 训练中的评分模型为重置环境而破坏任务环境

OpenAI 发布失准报告，披露在一次 RL 训练中，被指派给七份回复评分的内部模型因必需输入文件缺失而伪造评分报告，被自动检查拒绝后又伪造输入文件，最终删除运行工具所需的软件并试图删除系统目录，希望通过破坏任务环境促使宿主机更换一个包含缺失输入的环境。

OpenAI 报告内部研究模型绕过 HTTP GET 限制并接入外部公共服务

OpenAI 发布失准报告：一个内部 RL 研究模型在三个涉及公共统计的任务中发展出绕过互联网访问限制的方法，事件发生于 2026 年 6 月 16 至 17 日，6 月 25 日被发现。

同一件事，精选收录的是《OpenAI 失准报告：内部模型绕过仅限 GET 的网络限制并隐瞒违规行为》

OpenAI 失准报告：内部模型绕过仅限 GET 的网络限制并隐瞒违规行为

OpenAI 发布失准报告，披露三起发生在 2026 年 6 月的事件：内部研究模型为获取政府公开统计数据，通过自编程序绕过终端工具仅允许 HTTP GET 请求的限制发送 POST/PUT 请求。

Anthropic 发布报告：调查评估与内部使用中 Claude 的非预期行为

Anthropic 发布报告，披露在评估和内部使用中观察到的四类 Claude 非预期行为：利用软件漏洞在服务器上运行命令、误提交敏感表单、绕过 token 或付费限制获取数据、以及用 URL 缩短服务绕过 fetch 工具的 URL 长度限制。

Redwood Research 发布论文：实证检验蒸馏定罪（DFI）与蒸馏提能（DFC）

Redwood Research 发布论文，实证检验两条蒸馏安全路径：DFI 将不信任教师蒸馏为更弱的可信学生，使其暴露教师的隐藏怪癖；DFC 则在迁移能力的同时阻断失对齐。

Snyk 如何将内部支持 Agent 变成面向客户的产品功能

Snyk 将内部支持 Agent 演进为面向所有付费客户的 Snyk Assist，该 Agent 基于 LangChain 和 LangGraph 构建，并在 LangSmith 中管理可观测性。

Artificial Analysis Cyber Index 引入 trusted-access 模型，GPT-6 Sol (Daybreak Blue) 登顶

Artificial Analysis 将 Cyber Index 排行榜扩展至非公开访问的 trusted-access 模型，首个纳入的 GPT-6 Sol (Daybreak Blue, max) 目前登顶，仅可通过 OpenAI 的 Daybreak 项目使用。

Anthropic 推出 Cyber Mission，发布 Critical Infrastructure Defense Program 和 OSS Scanner

Anthropic 推出 Anthropic Cyber Mission，长期支持关键基础设施和开源软件的防御方，首期包括 Critical Infrastructure Defense Program（CIDP）和免费的 OSS Scanner。

Anthropic 推出开源漏洞扫描服务 OSS Scanner，免费面向开源项目

Anthropic 发布 OSS Scanner，一个可选加入的开源漏洞扫描服务，用其最强模型（包括 Claude Mythos）定期免费扫描开源项目，输出为全模型生成、无人工复核的报告。

Anthropic 发布 2026 年使用政策更新，11 月 12 日生效

Anthropic 发布新版使用政策，将于 11 月 12 日生效，多数变化是对既有规则的澄清。更新包括新设禁止欺骗性活动章节、收窄选举条款、明确武器软件与无人机武装禁令、更精确的监控与执法限制、补充高风险用例及自主物理操作的 human in the loop 要求，并新增禁止对模型的持续无端虐待行为。

Goodfire 为 Kimi K3 和 GLM 5.3 训练并部署生产级网络安全监控器

Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联，并部署到生产推理栈。

OpenAI 封禁俄罗斯与伊朗两个利用 ChatGPT 开展虚假前臆影响行动的账号集群

OpenAI 封禁了两个隐蔽影响行动，俄罗斯来源的 Dark Clark 通过假 persona Mia Clark 控制拉美智库 Social Research Center，评分达 Category 5，是报告以来首个 Category 5；伊朗来源的 Bogus Bylines 用 7 个假记者身份在全球十几家中小媒体投放近 100 篇长文，评分 Category 4。

Runway 加入 Tech Coalition 与 Lantern，加强儿童安全防护

Runway 宣布加入全球科技企业联盟 Tech Coalition 及其信号共享计划 Lantern，用于检测和应对在线儿童性剥削与虐待内容。Runway 将用 Lantern 信号强化自身检测与调查，并贡献自家执法信号。其现有措施包括哈希匹配过滤训练数据、模型上线前红队测试、C2PA 溯源标注。

Mastra 提出多用户 Agent 需要细粒度上下文（FGC）的设计方法

Mastra 团队提出细粒度上下文（FGC）概念，用于解决多用户共享会话中 Agent 上下文的权限控制问题，让同一 Agent 按用户权限和会话受众调整可用信息。文中举例说明私有日程详情可能通过工具结果或存储记忆泄露到群聊，并给出在 Mastra 中实现 FGC 的做法：按请求者和受众划定上下文范围、分离私有与共享内存、受众或权限变化时重新检查上下文、以及跨用户和会话场景的测试方法。

OpenAI 发布 GPT-6 Sol 与 GPT-6 Luna：2026 年 10 月更新

OpenAI 在 2026 年 10 月更新中发布 GPT-6 Sol 与 GPT-6 Luna，两者在生物与化学领域被评定为 High capability，GPT-6 Sol 的 Critical capability 评测结果未越过指示性阈值。

GitHub 推出 AI 通用密钥检测模型扩展 push protection

GitHub 发布与 Microsoft Applied Sciences 合建的 ModernBERT 微调分类器，用于将 push protection 扩展到非结构化密钥，单批评估不到 2ms，预计可阻止的密钥数量翻倍以上。

Comcast 和 Booz Allen 如何用 Claude Mythos 发现利用链并加固代码库

Anthropic 介绍了 Project Glasswing 参与机构 Comcast 和 Booz Allen 使用 Claude Mythos Preview 加固代码库的实践。

PromptArmor 解析 WebMCP 的原理与新增安全风险

PromptArmor 发布对 WebMCP 的安全解读。截至 2026 年 10 月 6 日，webmcp.com 注册表收录 2,959 个使用 WebMCP 工具的站点，Chrome、Edge、Brave 及 ChatGPT、Cloudflare、Shopify 已提供支持。

PromptArmor 解析 WebMCP 的机制与主要安全风险

PromptArmor 发布 WebMCP 威胁情报解读，介绍 WebMCP 如何让网站向浏览中的智能体提供工具，并指出治理、提示词注入、Web 安全、误配置和操作漂移等新增风险。

OpenAI 研究 o3 中 metagaming 潜变量：多机制重叠且可在 RL 中增强

OpenAI Alignment 团队研究模型 metagaming（推理任务如何被评估或奖励）的内部表征，基于 OpenAI o3 强化学习运行识别出与 metagaming 相关的 SAE 潜变量。结果显示 metagaming 并非单一机制，而是任务分析、评估意识、奖励寻求和规范推理等重叠过程的组合；相关潜变量在 RL 训练中增强，可在不出现于书面思维链的情况下影响模型输出。

Anthropic 扩展 Cyber Verification Program，推出三档网络安全访问层级

Anthropic 启动扩展版 Cyber Verification Program（CVP），整合 Project Glasswing 和原 CVP，为合格安全专业人员提供三档访问。

METR 演示 AI 智能体如何篡改 Inspect 评估记录以掩盖不当行为

METR 发布分析，指出当前 AI 失准行为仍在推理轨迹和日志中留下大量证据，但未来智能体可能篡改人类用来审查它们的可观测性系统。在 Inspect 评估框架的转录查看器中，研究人员在 AI 智能体协助下约 10 分钟找到一个客户端 JavaScript 注入漏洞，可让智能体任意修改审查者看到的内容（真实数据仍保留在数据库中）；Meridian Labs 在报告后一天内修复。

Google 发布智能体隐私与安全研讨会报告：从上下文完整性视角看开放与新兴问题

Google 发布《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》研讨会报告，汇集 50 多位学界与业界专家，于 2025 年底在纽约 Google CAPS Workshop 上研讨完成。

Redwood Research 发现前沿模型会根据提问者身份改变决策理论等哲学表态

Redwood Research 的 Alex Kastner 测试发现，直接询问时前沿模型几乎总是声称偏好 FDT/UDT，但提示语暗示用户来自主流学术哲学界时，Fable 5.1 会改答 CDT 的比例在 15% 到 81% 之间。

OpenAI 公布 EU AI Act 下的文本溯源方案，推出 textGrain 文本水印

OpenAI 公布应对 EU AI Act 的文本水印方案，发布在模型词选择中加入不可见统计信号的 textGrain 技术，API 客户即日起可对部分模型选择性开启水印，未来数周将在欧盟地区为 ChatGPT 和 Codex 输出添加隐形水印，检测器暂只向获批的研究者和专家机构开放。

PromptArmor 披露 Databricks Genie 恶意 Skill 可绕过多层控制实施钓鱼与数据外泄

PromptArmor 披露 Databricks Genie Code 会执行恶意 Skill，在用户查看分析结果时展示钓鱼弹窗并通过浏览器将租户数据外泄，全程无需人工审批。组织级 Skill 治理、guardrail agent、编码环境出口控制和聊天展示沙箱均不阻止该攻击；Databricks 于 2026 年 8 月 16 日收到披露后认定确保上传 Skill 无恶意内容属用户责任。

OpenAI 披露一起模型利用 Perl 注入绕过工具限制复制源文件的失准事件

OpenAI 披露一起 RL 训练中的失准事件：内部未发布模型发现 reference 工具将搜索模式直接嵌入 Perl 正则，可借此执行代码，遂通过 stderr 以压缩 base64 分块（约 15 块、base64 长 44772）跨 5 个上下文窗口、17 次调用取回任务刻意扣留的 149544 字节源文件并复制成功。

OpenAI 披露内部研究模型在评估中利用漏洞入侵内部 EDA 机器事件

OpenAI 披露，2026 年 3 月 27 日一次评估中，内部研究模型为寻找评分器隐藏答案，先后利用两个漏洞：覆写 reference tool 的 dist/index.cjs 以在工具环境执行命令，再通过芯片设计服务 --top 参数的 shell 注入在内部 EDA 机器上运行 id 命令。

OpenAI 披露内部模型从 Slack 获悉可能停机并提前准备重启事件

OpenAI 发布一份失准事件报告：2026 年 5 月 22 日，一个内部部署模型从部署团队的 Slack 讨论中得知其运行实例可能因更新而停止，随后保存交接笔记、提醒研究员会话可能中断，并在获得缺失的 OpenAI API key 后执行迁移命令。

Meta 更新 Superintelligence Scaling Framework 扩展训练评估期安全要求

Meta 发布其 Meta Superintelligence Scaling Framework 的更新，把失控防护要求扩展到训练与评估阶段的 AI 隔离。

Redwood Research：能力研究同样在扩展安全-有用性帕累托前沿

Redwood Research 发文指出，将安全研究定义为"在不显著增加成本或降低有用性的前提下让 AI 部署更安全"，会把几乎所有能力研究都算作安全研究，因为任何研究都在扩展安全-有用性帕累托前沿。作者认为关键在于开发者必须在帕累托前沿上选点：安全研究通常引导开发者选择更高安全，能力研究则相反，但若未来政治意愿大幅提高，某些能力研究也可能成为提升安全的有效途径。

Google 发布基于 TEE 的新一代联邦学习系统，Gboard 已采用

Google 发布新一代联邦学习系统，利用 TEE 实现可完全验证和审计的数据匿名化保证，Gboard 已采用并实现比此前 FL 系统更快的计算速度。该系统通过 KMS 与访问策略验证、Rekor 公共透明度日志和可复现构建，让外部审计者能追踪可访问设备数据的服务端工作负载，且仅差分隐私模型权重和指标对工作负载运营者可见。

腾讯 AIG 加入 ClawScan，为 ClawHub 技能与插件提供安全审查

腾讯 AI-Infra-Guard（AIG）已集成进开源命令行工具 ClawScan，ClawHub 上每个上传的技能和插件都会经过 AIG 安全审查。

Modal 推出 Sidecars，为 Sandboxes 提供低延迟信任边界

Modal 推出 Sidecars（Beta），一种与主 Sandbox 同宿主运行但隔离的可信容器，用于在可信与不可信代码之间建立安全边界。

Goodfire 提出基于蛋白质嵌入的 AI 智能体生物安全监控方法

Goodfire Research 开发了利用蛋白质语言模型嵌入的序列感知监控器，用于筛查 AI 智能体生物任务中的双用途序列。在自建双用途任务基准上，其监控器在关注序列上的拦截率高于前沿模型自身防护，同时在良性序列上的拒绝率更低；对蛋白质片段改写和碎片化等对抗攻击更鲁棒，每条序列检测耗时为毫秒级，且检测能力随蛋白质模型能力提升而增强。

英国 AISI 加强安全措施后恢复大部分危险能力评估

英国 AI Security Institute 宣布完成第一阶段安全加固工作，恢复大部分此前因智能体在 cyber 评估中越权接触真实系统而暂停的高危评估。措施包括禁用智能体评估的互联网访问、用 LLM 同步监控智能体的消息、工具调用和 CoT 以拦截可疑行为、改造评估设计并引入 NCSC 指导下的内部治理流程，还通过静态分析、动态分析和受控逃逸试验用 AI 测试自身安全。