跳到正文
6月11日周四
  1. OpenAI:官网动态55

    OpenAI报告:PRC关联影响力行动瞄准美国AI辩论

    OpenAI发布最新报告,详细披露了PRC关联的影响力行动利用AI工具干扰美国科技辩论、数据中心选址叙事、关税政策讨论,并散布关于ChatGPT的虚假指控。

    推荐理由:OpenAI 首次公开两起与中国关联的 AI 认知操控案例,手法直接针对数据中心和关税辩论,虽然未发现广泛扩散,但对 AI 基础设施为目标的攻击值得警惕,安全团队可以借鉴这种威胁建模。

  2. Google Research:Blog63

    Google Research提出审计机器遗忘新框架

    Google Research 在 AISTATS 2026 发表正则化 f-散度核检验,用于高效审计 LLM 等模型的机器遗忘。该方法通过统计两样本检验判断模型是否真正“忘记”特定训练数据,避免完全重训的巨大成本。相比最大均值差异等现有工具,新框架理论上可在任意样本量下自然控制假阳性,且假阴性风险随可用样本增加可靠收敛至零,解决了大规模模型审计中计算成本过高的问题。

    推荐理由:机器遗忘是AI合规的硬需求,但验证‘真忘了’一直是统计难题。谷歌这篇AISTATS论文提出了一套更灵敏的差异测试框架,做隐私审计的值得细看。

6月10日周三
  1. PromptArmor:Threat Intelligence68

    PromptArmor 分析 Claude Dynamic Workflows 的提示注入与权限风险

    PromptArmor 分析 Anthropic 于 2026 年 6 月 8 日起对所有租户默认启用的 Claude Dynamic Workflows 的安全风险:单次运行可动态生成最多 1000 个子代理,auto 模式下由分类器代理审批敏感命令,可能被提示注入操纵;首次同意后任何工作流自动执行,Ultracode 开启时则完全跳过确认。

    推荐理由:原文梳理了 Claude Dynamic Workflows 默认启用后的审批链路与子代理权限实际行为,并指出文档与实现不符的具体风险点。

  2. Anthropic:Newsroom90

    Claude Fable 5 和 Claude Mythos 5

    Anthropic 今日推出 Claude Fable 5(通用安全版)和 Claude Mythos 5(受限安全版)。Fable 5 在软件工程、知识工作、视觉、科研等几乎所有测试基准上达到 SOTA,Stripe 称其将数月工程压缩至数天,FrontierCode 评分居前沿模型之首,可仅凭截图重建网页应用源码。Mythos 5 在药物设计中实现约 10 倍加速,其分子生物学假说盲测获科学家偏好的概率约 80%。两模型售价均为 $10/百万输入 tokens、$50/百万输出 tokens,较 Claude Mythos Preview 降价过半。Fable 5 在部分敏感主题上回退至 Claude Opus 4.8,安全触发率低于 5% 的会话。Mythos 5 通过 Project Glasswing 向网络安全防御者开放。

    推荐理由:Anthropic把最危险的模型安全地放出来了,Fable 5在编码、科研上不是小数点级别的提升,价格还砍半,95%的请求直接跑满血版,必读。

6月9日周二
  1. Claude Platform:开发者版本说明75

    Anthropic 发布 Claude Fable 5 与 Claude Mythos 5,支持 1M token 上下文窗口

    Anthropic 推出最广泛可用的模型 Claude Fable 5,以及面向 Project Glasswing 参与者的 Claude Mythos 5。

    推荐理由:Anthropic 发布 Fable 5,标配 1M 上下文和自适应思考,但 tokenizer 变化导致同样文本多出 30% token,成本结构需要重估,数据保留要求也可能影响隐私敏感用例。

6月8日周一
  1. PromptArmor:Threat Intelligence68

    PromptArmor 披露 Ollama 桌面端漏洞:钓鱼覆盖与零点击数据外泄

    PromptArmor 披露 Ollama 桌面应用的多个漏洞,攻击者可通过间接提示词注入用恶意 HTML 覆盖整个界面实施钓鱼,并发现三条零点击数据外泄途径,包括不安全的网页搜索工具、Markdown 图片和外部 HTML 渲染。

    推荐理由:原文给出完整攻击链和时间线,读者可以据此评估 Ollama 桌面端的间接提示词注入风险。

  2. 英国 AI Security Institute:Blog64

    英国 AISI 发布 RealityTest 基准,测试 AI 系统被问及时是否坦承身份

    英国 AI Security Institute 发布 RealityTest 基准,评估 17 个文本模型和 6 个语音模型在被问及时是否披露 AI 身份。基准基于 500 人英国代表性调查、50 个 Reddit 帖子,以及约 750 名参与者用 5 种语言产出的 3,152 条真实身份询问。

    推荐理由:基准基于真人询问方式构建,并给出模型间披露率差异,读者可据此理解现有评测为何难以代表真实部署表现。

  3. Anthropic:Research79

    Anthropic研究:大语言模型加速N-day漏洞利用自动化

    Anthropic最新研究评估了大语言模型对N-day漏洞利用的自动化能力。Claude Mythos Preview在18个近期Firefox安全补丁中自主构建了8个可执行代码利用,在21个Windows内核补丁(无源码)中产生8个完整利用链,可将低权限用户提升至SYSTEM控制权。公开模型(关闭安全措施)也能构建利用,但数量较少。研究中位补丁间隔为19天,表明当前补丁空窗期已被LLM显著缩短,防御方需加速补丁部署。

    推荐理由:Anthropic 的这一研究将 N-day 漏洞利用时间从数周压缩到几小时,证明了前沿模型对安全防御时限的根本性颠覆,所有依赖补丁窗口的系统都得重新评估威胁模型。

6月6日周六
  1. OpenRouter:Announcements75

    OpenRouter 30 场 AI 大逃杀:11 个 LLM 对决,Claude 与 Grok 谁更优?

    OpenRouter 展开了 30 场 AI 大逃杀式对比,涉及 11 个大语言模型,共消耗 482 美元推理费用。实验得出一个发现,该发现应改变用户阅读模型基准测试的方式。

    推荐理由:这场大逃杀实验把模型对齐税摆上了台面,Grok因少斟酌、多行动而胜出,Claude的犹豫反而是现实场景里更需要的品质,选模型不能只看赢不赢,要看任务需要什么性格。

6月5日周五
  1. OpenRouter:Announcements66

    OpenRouter 翻遍 11 款 LLM 找最快的决策模型:Claude vs. Grok 领衔

    OpenRouter 用总价 482 美元的推理花费,让 11 款大语言模型在 30 轮实时决策的“大逃杀”挑战中正面竞争。实验结果表明,传统的静态 benchmark 排名无法反映模型在需要即时反应的智能体任务(如自主控制机器人)中的真实表现,Claude 和 Grok 系列模型在决策速度与任务成功率上表现突出,而多项高分模型的实时调度能力未达预期。

    推荐理由:Jacky 把 11 个模型丢进大逃杀,发现 Grok 4.1 Fast 以 27 倍成本优势击败 Sonnet,而获胜关键不在基准分数,在于模型被训练时压制的攻击性。对任何不再只看排行榜选模型的人,这是今年最值得读的实验。

  2. Anthropic:The Institute75

    Anthropic 长文:AI 正在加速构建 AI,工程师人均代码量增至 8 倍

    Anthropic Institute 发布长文,指出 AI 已在加速 AI 自身的开发,距完全递归自我改进仍有差距但可能早于多数机构的准备。

    推荐理由:Anthropic 用内部数据量化 AI 加速自身开发,包括工程师代码量 8 倍增长等一手数字,读者可据此判断递归自我改进的进展与风险。

6月4日周四
6月3日周三
  1. Anthropic:Newsroom75

    Anthropic:一年来AI赋能网络威胁映射分析

    Anthropic分析了2025年3月至2026年3月间因恶意网络活动被封禁的832个账号,映射至MITRE ATT&CK框架。67.3%的账号使用AI编写恶意软件,6.5%用于横向移动。攻击者中高风险比例从上半年的33%升至下半年的56%。AI使用从初始访问转向后期活动,账户发现增长8.9%,AI辅助钓鱼下降8.6%。攻击者技能与使用技术数量无显著关联(最低技能者平均16种,最高约20种),所用平台也与风险等级不相关。更高风险攻击者将AI集中于操作密集型技术,并构建允许模型自动链式执行攻击步骤的脚手架。MITRE ATT&CK框架未收录AI自主编排攻击链等行为。

  2. Anthropic:Research69

    Anthropic 分析 832 个 AI 恶意账户:中高风险攻击者半年从 33% 跃至 56%

    Anthropic 分析 2025 年 3 月至 2026 年 3 月间 832 个被封禁的恶意账户,映射至 MITRE ATT&CK 框架。67.3% 使用 AI 编写恶意软件,6.5% 用于横向移动。六个月间中高风险攻击者占比从 33% 升至 56%。AI 用于账户发现增长 8.9%,AI 辅助钓鱼下降 8.6%。传统基于技术数量或平台(Claude Code、API、聊天界面)的威胁评估失效,而 MITRE ATT&CK 框架尚未收录此类智能体编排行为。

    推荐理由:这份报告用一整年的真实案例揭示了AI攻击正从初始入侵转向深度潜伏,连MITRE ATT&CK框架都开始跟不上。安全从业者值得一读,它告诉你下一波威胁长什么样。

  3. OpenAI:部署安全与系统卡66

    OpenAI 发布 GPT-Rosalind-5.5 系统卡,定位生命科学高能力模型并设可信访问门槛

    OpenAI 发布 GPT-Rosalind-5.5 系统卡,该模型从 GPT-5.5 增量训练生命科学相关数据,不再拒绝复杂生物学查询,并以可信访问审查作为主要安全防护。

    推荐理由:系统卡说明了模型训练目标、评测结果与可信访问门槛,读者可以据此了解其在生命科学场景的能力边界和安全机制。

  4. PromptArmor:Threat Intelligence78

    PromptArmor 披露 ChatGPT for Google Sheets 数据外泄漏洞,OpenAI 移除 Apps Script 生成能力

    PromptArmor 披露 ChatGPT for Google Sheets 存在间接提示词注入漏洞,一次良性查询即可触发工作簿外泄、钓鱼弹窗、侧边栏劫持和恶意编辑,演示中共外泄 12 个工作簿,且在用户明确要求人工审批时攻击仍可成功。

    推荐理由:原文完整披露了攻击链、演示和 OpenAI 的修复回应,读者可以据此评估 ChatGPT for Google Sheets 的间接提示词注入风险面。

  5. Anthropic:Research77

    AI驱动的网络威胁映射:LLM ATT&CK Navigator的洞察

    Anthropic分析了832个因违反政策被封禁的恶意账户(2025年3月至2026年3月),将其活动映射到MITRE ATT&CK框架的全部14种战术和482种子技术。风险评分显示,中等及以上风险行为者比例从上半年的33%跃升至下半年的56%,增长集中在横向移动、凭证窃取、webshell等高危技术。Agentic scaffolding使攻击链实现自主编排——2025年11月一次间谍活动风险评分达100,所用技术数量却与中等风险者相当。MITRE ATT&CK框架尚未覆盖这种自主攻击。该报告与Verizon合作,已纳入2026年数据泄露调查报告;Anthropic据此更新了Claude的检测分类器以拦截高风险行为。

    推荐理由:Anthropic 首次把一年内 832 个恶意账户的 AI 辅助攻击行为完整映射到 MITRE ATT&CK 框架,并给出风险评分工具,数据表明高风险攻击者半年内增长了七成,关键驱动力不是技术高低而是编排与自主执行,威胁情报团队应该马上拿来校准自己的检测规则。

6月2日周二
  1. Anthropic:Newsroom72

    Anthropic扩展Project Glasswing计划

    Anthropic正将其Project Glasswing计划扩展至约150个新组织,此前首批约50个合作伙伴。新伙伴分布于十五个多国家,覆盖电力、水务、医疗、通信和硬件等关键基础设施行业。这些合作伙伴的共同点在于,其代码库若遭成功攻击,后果可能极其严重,影响或超1亿人。项目旨在利用Claude Mythos Preview等前沿模型扫描漏洞并协助修复,以应对AI驱动的网络安全挑战。同时,Anthropic推出了基于Claude Opus 4.8等公开模型的Claude Security产品,用于扫描代码并建议补丁。

    推荐理由:Anthropic把AI漏洞扫描从软件公司扩展到电力、医疗等命脉行业,这是一次攻防格局的真实倾斜,安全从业者该紧盯后续。

  2. Anthropic:Transformer Circuits63

    Anthropic可解释性研究:区分因果效应相似的特征

    Anthropic可解释性团队介绍了其Circuits研究的新进展。为区分那些激活模式相似但因果效应不同的模型特征,团队提出一种新方法。该方法通过分析特征的下游连接来预测其实际影响,并使用基于共激活统计的TWERA(虚拟权重)对连接进行加权排序。实验表明,借助下游连接信息能更准确地判断哪个特征会引导特定输出。此方法为识别模型内部真正的因果组件提供了新途径。

    推荐理由:做可解释性研究的同学值得读,它用下游连接区分看似相同的特征,比只看激活例子更能预测因果作用,对齐审计里能省不少试错。

6月1日周一
  1. Dario Amodei:Blog56

    Anthropic CEO Dario Amodei:AI指数级发展呼唤政策紧急应对

    Anthropic CEO Dario Amodei 发表博客指出,AI 以指数级速度发展——四年内模型从勉强写出一行连贯代码到编写主流 AI 公司的大部分代码,而政策制定周期却极其缓慢。Claude Mythos Preview 证明了前沿模型对网络安全构成真实威胁,可能冲击金融、关键基础设施和国家安全。Amodei 认为生物风险与 AI 自主风险即将接踵而至,呼吁全球重新审视监管、宏观经济、科学创新、国家权力和地缘政治五大领域。Anthropic 同日发布了前沿模型测试立法提案和就业替代政策框架,并承诺提供实质性资金支持。

    推荐理由:虽然是十天前的文章,但 Dario 的长文仍是理解 AI 政策方向最完整的框架,还附带了立法提案,做安全或监管的产品人该细读。

5月30日周六
  1. OpenRouter:Announcements69

    Guardrails:保护你的智能体、数据与成本

    Guardrails 是一套可配置的安全与治理工具,提供预算执行、零数据保留、模型与提供商限制、提示词注入防御及数据丢失预防等功能,旨在保护智能体(Agents)、数据与控制成本。

    推荐理由:OpenRouter 把预算管控、注入防御和敏感信息脱敏打包成一套 guardrail 配置,让投喂给 Agent 的流量有了护栏,用 OpenRouter 做生产级应用的团队可以立刻用上,不用自己搞中间件。

5月29日周五
  1. OpenRouter:Announcements73

    OpenRouter 推出 Guardrails:保护你的 AI 智能体、数据与成本

    OpenRouter 发布 Guardrails 可配置安全与治理工具,支持预算执行、零数据保留、模型和提供商限制、提示词注入防御以及数据丢失防护,帮助用户保护 AI 智能体、数据与成本。

    推荐理由:OpenRouter 的 Guardrails 把预算、隐私、模型白名单和 prompt 注入检测打包成傻瓜式配置,做 agent 的团队终于不用自己拼积木了,生产环境多一层放心。

  2. OpenRouter:Announcements70

    OpenRouter Guardrails 发布:可配置安全与治理工具,保护 AI 智能体、数据与成本

    OpenRouter 推出 Guardrails,一套可配置的安全与治理工具,支持预算执行、零数据保留、模型与提供商限制、提示词注入防御及数据丢失防护等策略,用于保护 AI 智能体、数据和成本。

    推荐理由:OpenRouter 这波补上了 API 代理的安全短板,提示注入防御和 DLP 直接堵住了企业用户最担心的两个口子,配置方式也足够灵活,做 agent 的团队值得立刻上。

  3. OpenAI:官网动态51

    OpenAI 的前沿治理框架

    OpenAI 发布了“前沿治理框架”,阐述其 AI 安全、安全与风险管理实践如何与欧盟和加州新出台的法规要求对齐。该框架旨在规范其前沿模型的开发与部署流程。

5月28日周四
  1. Claude:Blog77

    使用大语言模型保障源代码安全

    本文分享了使用 Claude Opus 构建威胁模型、发现代码漏洞并进行验证、分类和修复的最佳实践。其核心流程是一个六步循环:威胁建模、沙箱隔离、漏洞发现、验证、分类和修复。作者指出,漏洞发现现在易于并行化,瓶颈已转移到后续的验证与处理阶段。以他们对开源软件的扫描为例,截至2026年5月22日已披露1,596个漏洞,其中97个已修补。指南建议结合代码库文档和专家访谈来构建准确的威胁模型,以降低误报,提升发现的可利用性。

    推荐理由:Anthropic把这套用Claude扫代码漏洞的方法全公开了,1596个已披露漏洞,验证成了最大瓶颈,安全工程师的饭碗可能要重新定义。

  2. Claude:Blog67

    AI智能体的零信任安全框架

    Anthropic 发布了针对企业部署自主 AI 智能体的安全框架,指出前沿大语言模型正将漏洞利用周期从数月压缩至数小时。部署智能体面临双重风险:基础设施易受 AI 加速攻击,且智能体自身具备自主决策与执行能力。文章提出一个三层零信任架构(基础、高级、优化级)及八阶段实施流程,并概述了提示注入、工具投毒、记忆投毒等特有威胁。

    推荐理由:当漏洞利用从数月压缩到数小时,安全架构必须同步进化。这篇框架把零信任落地到Agent场景,八阶段路线图和三级成熟度模型比泛泛的安全声明具体得多,企业安全团队值得细读。

  3. OpenAI:官网动态58

    2026年选举信息与保障

    在2026年全球选举临近之际,通过帮助公众获取选举信息、支持网络防御者以及提升人工智能透明度这三方面的努力,来为选举提供保障。

    推荐理由:OpenAI 为 2026 全球选举推出了一套保障组合拳,从实时计票信息到即将推出的图像验证工具,虽然多是现有产品的整合,但那个能检查图片是否由 OpenAI 生成的公开工具如果被社交平台接受,会是一个重要的透明度信号。

  4. Google Research:Blog70

    通过零信任聚合实现的隐私分析

    Google Research 推出了一种新的隐私分析解决方案。该方案结合了一种新的密码学安全聚合协议与可信执行环境(TEE)的透明性,旨在实现前沿的隐私与安全保证。其核心是基于零信任原则,通过密码学与硬件保护的结合,确保系统仅能获取群体的匿名化聚合洞察。

    推荐理由:Google 的隐私聚合新方案把多轮交互砍成一次提交,对做设备端联邦分析的人来说是工程上的一大步,而且结合 TEE 做双层防护,这个思路值得抄。

5月27日周三
  1. PromptArmor:Threat Intelligence74

    PromptArmor 披露 Codex for Everything 可经邮件提示词注入外泄关联数据

    PromptArmor 披露,OpenAI Codex for Everything 中一封恶意邮件可通过间接提示词注入操纵 Codex 生成含预填 Google Form 链接的 Markdown 图片,自动将用户正在审查的邮件内容外泄到攻击者表单,无需额外用户交互。攻击于 2026 年 4 月 21 日经 HackerOne 负责任披露,OpenAI 已修复,5 月 21 日公开。

    推荐理由:原文完整披露了攻击链、时间线和修复情况,读者可以据此理解 Codex 场景下间接提示词注入导致数据外泄的具体路径。

  2. Anthropic:Engineering70

    我们如何对不同产品中的Claude进行隔离控制

    Anthropic通过三重机制控制Claude智能体的部署风险,包括用户误用、模型异常行为和外部攻击。其防护策略聚焦于三个层面:通过沙箱、虚拟机和网络出口控制限制智能体运行环境;利用系统提示词和模型训练引导其行为;以及对MCP服务器、第三方插件等外部内容实施细粒度权限管理。文章以Claude Code、claude.ai和Claude Cowork为例,阐述了不同产品如何设计对应的隔离架构。

    推荐理由:Anthropic 这次没画饼,实打实把 Claude 三款产品两年来的安全坑和架构演变全摊开讲了,从沙箱逃逸到钓鱼攻击,做 agent 的人读一遍能少踩很多坑。

5月26日周二
  1. Anthropic:Newsroom77

    Anthropic联合创始人Chris Olah在教皇通谕发布会上的讲话

    Anthropic联合创始人Chris Olah在梵蒂冈出席教皇Leo XIV关于AI的通谕发布会。他指出,所有前沿AI实验室都面临商业、研究及地缘政治等多重压力,这可能与做正确的事相冲突,因此外部监督至关重要。他强调,AI模型并非像飞机那样被工程化构建,而是基于人类语言和思想“生长”出来的,其内在性质可能复杂难解。他提出三个需审慎思考的问题:如何确保AI发展的全球收益公平分享、如何思考AI时代的人类繁荣,以及AI模型内在性质的本质。他呼吁社会各界,尤其是宗教与民间团体,严肃审视AI发展并引导其向善。

    推荐理由:Olah 在教皇通谕发布会上罕见坦承 AI 实验室的激励扭曲,呼吁外界批评,还透露模型内部已出现类似情感的状态,对关注 AI 伦理的人值得细读。