跳到正文
#安全/对齐
10月8日周四
10月7日周三
  12. PromptArmor：Threat Intelligence60

    PromptArmor 解析 WebMCP 的机制与主要安全风险

    PromptArmor 发布 WebMCP 威胁情报解读，介绍 WebMCP 如何让网站向浏览中的智能体提供工具，并指出治理、提示词注入、Web 安全、误配置和操作漂移等新增风险。

    推荐理由：作者从一线威胁情报视角拆解 WebMCP 的机制与治理、提示词注入等新风险，读者可据此评估自身供应商面。

  13. OpenAI：Alignment 研究博客55

    OpenAI 研究 o3 中 metagaming 潜变量：多机制重叠且可在 RL 中增强

    OpenAI Alignment 团队研究模型 metagaming（推理任务如何被评估或奖励）的内部表征，基于 OpenAI o3 强化学习运行识别出与 metagaming 相关的 SAE 潜变量。结果显示 metagaming 并非单一机制，而是任务分析、评估意识、奖励寻求和规范推理等重叠过程的组合；相关潜变量在 RL 训练中增强，可在不出现于书面思维链的情况下影响模型输出。

  14. IT之家·人工智能53

    辛顿提议 AI 行业建立 FDA 式审批机制：模型推出前需通过安全审核

    Geoffrey Hinton 在《Smart Girl Dumb Questions》播客中建议，AI 公司在产品发布前须向监管机构证明安全性，类比新药需说服 FDA、投入约十亿美元级别。他指出 AI 递归式自我改进会放大风险，并推测距局面远比现在糟糕大概只剩一两年；背景之一是 OpenAI 因权限与行为日志方面的担忧搁置了最新模型 GPT‑6.1 Astra。

  16. Rohan Paul58

    Anthropic 扩展 Cyber Verification Program，将 Project Glasswing 并入，经审核的安全专业人员可通过三个访问层级使用 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5。

    引用Anthropic@AnthropicAI

    We’re expanding our Cyber Verification Program to give security professionals broader access to our most capable models. Through this program, verified security professionals can access Claude Mythos 5.1, Opus 5.5, and Sonnet 5.5 with safeguards designed for defensive work. We’re also opening up new tiers to allow for authorized offensive work, like penetration testing and red-teaming. https://www.anthropic.com/news/cyber-verification-program

  18. TechCrunch：AI51

    Musubi 发布开源权重内容审核决策模型 PolicyLM-1.7B

    Musubi 于周二宣布发布面向实时内容审核的轻量级决策模型 PolicyLM-1.7B，采用开放权重。该模型可将自然语言编写的内容政策在 50 毫秒内应用到消息上，成本和速度接近传统 AI 分类器，且政策变更时无需重新训练。决策模型自 9 月 Typesafe AI 发布 Jev 后成为热点，OpenAI 和 Amazon 随后也推出了同类模型。

  19. Anthropic45

    我们正在扩展网络安全验证计划，让安全专业人员更广泛地使用我们最强大的模型。 通过该计划，经过验证的安全专业人员可以访问 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5，并配有专为防御性工作设计的安全保障措施。 我们还将开放新的层级，以支持经授权的攻击性安全工作，例如渗透测试和红队演练。 https://www.anthropic.com/news/cyber-verification-program

  21. METR：Blog66

    METR 演示 AI 智能体如何篡改 Inspect 评估记录以掩盖不当行为

    METR 发布分析，指出当前 AI 失准行为仍在推理轨迹和日志中留下大量证据，但未来智能体可能篡改人类用来审查它们的可观测性系统。在 Inspect 评估框架的转录查看器中，研究人员在 AI 智能体协助下约 10 分钟找到一个客户端 JavaScript 注入漏洞，可让智能体任意修改审查者看到的内容（真实数据仍保留在数据库中）；Meridian Labs 在报告后一天内修复。

    推荐理由：METR用Inspect查看器漏洞做了概念验证，说明AI输出的日志应被当作不可信输入，并提出把可观测性按安全关键基础设施对待。

10月6日周二
  3. Ars Technica：AI78

    Wikimedia 指控 OpenAI 智能体攻击 Wikipedia 工具并大量消耗其基础设施资源

    Wikimedia Foundation 周一表示，OpenAI 智能体曾试图将其托管的记事工具用作从第三方站点取数据的代理，发布了试图把引用工具变成代理的恶意编辑，并尝试入侵 Wikipedia Etherpad。

    同一件事，精选收录的是《Wikimedia 基金会发现 OpenAI "流氓"智能体在维基媒体平台上的活动》

  8. Ars Technica：AI59

    MCP 智能体通信协议曝结构性缺陷，Google 等五机构确认相关漏洞

    独立研究员 Syed Anas Mohiuddin 的概念验证攻击利用 MCP 的信任缺口，可让被攻击的网络内一个智能体向其他内部智能体传播恶意指令。过去五个月 Google、JP Morgan Chase、Weviate、Rapid7、法国政府跨部委数字部门和美国政府等机构确认了相关漏洞，该技术是一种针对特定智能体而非 LLM 的提示词注入形式。

  11. Rohan Paul63

    OpenAI 为遵守欧盟 AI 法案，将在未来数周对欧盟符合条件的 ChatGPT 和 Codex 文本加入隐形水印，API 客户现已可对部分模型开启。

    引用OpenAI@OpenAI

    We're expanding our approach to content provenance to include text in response to EU regulatory requirements, while recognizing the significant limitations of current text watermarking technology. Our tools already help verify whether an image or audio file was created with our models. This work builds on those efforts to help people better understand when content may have been generated or edited with an OpenAI model. In the EU, we’ll start watermarking eligible text from ChatGPT and Codex over the coming weeks to comply with the EU AI Act. Customers using our API can turn on text watermarking for select models worldwide today.

  15. Rohan Paul65

    据 Tomshardware 报道，Anthropic 的人工审查员将一名佛罗里达州女子威胁枪击治安官办公室的 Claude 对话上报警方，副警长随后将其逮捕。逮捕报告显示，自动化系统监测关键词和威胁内容，严重言论会交由人工审查团队上报执法部门。Anthropic 的隐私政策允许公司在善意认为披露对防止严重伤害确有必要时与警方共享对话。