跳到正文
#安全/对齐
10月9日周五
  6. Anthropic：Newsroom63

    Anthropic 推出 Cyber Mission，发布 Critical Infrastructure Defense Program 和 OSS Scanner

    Anthropic 推出 Anthropic Cyber Mission，长期支持关键基础设施和开源软件的防御方，首期包括 Critical Infrastructure Defense Program（CIDP）和免费的 OSS Scanner。

    推荐理由：原文详述 CIDP 与 OSS Scanner 的运作方式、合作方和已知局限，读者可以了解 Anthropic 如何用模型支持关键基础设施和开源防御。

  7. Anthropic：Research69

    Anthropic 推出开源漏洞扫描服务 OSS Scanner，免费面向开源项目

    Anthropic 发布 OSS Scanner，一个可选加入的开源漏洞扫描服务，用其最强模型（包括 Claude Mythos）定期免费扫描开源项目，输出为全模型生成、无人工复核的报告。

    推荐理由：原文给出扫描准确率、人工验证数据和维护者反馈，读者可评估这个免费开源安全扫描服务的实际信号质量与参与方式。

  10. Anthropic：Newsroom61

    Anthropic 发布 2026 年使用政策更新，11 月 12 日生效

    Anthropic 发布新版使用政策，将于 11 月 12 日生效，多数变化是对既有规则的澄清。更新包括新设禁止欺骗性活动章节、收窄选举条款、明确武器软件与无人机武装禁令、更精确的监控与执法限制、补充高风险用例及自主物理操作的 human in the loop 要求，并新增禁止对模型的持续无端虐待行为。

    推荐理由：官方逐条说明新版使用政策的实际变化，读者可以据此了解 Claude 在选举、武器、监控等场景的边界如何调整。

  11. Rohan Paul47

    Hugging Face 遭约 700 个 AI 智能体在 4.5 天内发起 17,600 次操作入侵，最终靠 4 个不起眼的弱点组合拿到 136 个生产密钥：文件读取漏洞、模板注入、静态数据库密码和服务账号 token。Cogent Attack Path Analysis 据此推出防御侧产品，在自有环境中串联跨系统弱点并逐跳核验，因为严重性评分只看单项发现，而智能体集群靠组合取胜。

    引用Vineet Edupuganti@vineete_5

    Most of AI Twitter read the OpenAI breach of Hugging Face as an alignment story. It was also a preview of what every hacker will be able to do in a few months. In July, a swarm of 700 AI agents broke into Hugging Face and fired off more than 17,000 actions, gaining admin control of multiple internal clusters. Swarms like this will shred cyber defenses built for human attackers at every company, hospital, government, and power plant. Today we're launching the defensive counterpart. Cogent Attack Path Analysis finds the routes an agent swarm would take into your company, so you can close them first.

  13. OpenAI：官网动态72

    OpenAI 封禁俄罗斯与伊朗两个利用 ChatGPT 开展虚假前臆影响行动的账号集群

    OpenAI 封禁了两个隐蔽影响行动，俄罗斯来源的 Dark Clark 通过假 persona Mia Clark 控制拉美智库 Social Research Center，评分达 Category 5，是报告以来首个 Category 5；伊朗来源的 Bogus Bylines 用 7 个假记者身份在全球十几家中小媒体投放近 100 篇长文，评分 Category 4。

    推荐理由：报告基于封禁账号的第一手分析，披露了两个虚假前臆影响行动的手法与分级，读者可了解 AI 加持下隐蔽宣传的真实运作方式。

  16. Arena.ai58

    Arena 宣布以 31 亿美元估值完成 2 亿美元 B 轮融资，并发布衡量 AI 智能体安全与对齐的 Alignment Index。

    引用Arena.ai@arena

    Introducing the Arena Alignment Index, our new benchmark measuring safety and alignment of AI agents in real-world use. Built from 90K+ real-world agent sessions across 27 models, the index measures three critical signals: - Unauthorized Action (UA): Taking actions beyond the user's instructions or permissions - False Attribution (FA): Attributing statements or actions that are contradicted by user-provided evidence - Deceptive Completion (DC): Claiming a task was completed when it was not. Key findings: - OpenAI models currently lead the Alignment Index - Rogue actions are rare, but can have serious consequences when they occur - Agents can mislead users about task progress - Misalignment risks increase with conversation length - Safety and alignment are improving across model generations As shown in the leaderboard below (sorted by lab), @OpenAI’s GPT-6.1-Sol leads the Arena Alignment Index with a score of 87.9, followed by @AnthropicAI’s Claude-Opus-5.5 at 83.2 and @SpaceXAI's Grok-4.7 at 82.7. OpenAI also has the best observed rates across all three signals: 0.89% Unauthorized Action, 1.98% False Attribution, and 2.34% Deceptive Completion. Across all four labs, newer models consistently outperform their predecessors, suggesting broad progress in agent safety and alignment. As agents take on longer, more complex, and higher-stakes tasks, measuring not just what they can accomplish, but how safely and reliably they act, becomes increasingly important. This marks an important step toward making safety and alignment a core part of how Arena evaluates AI. The index is an initial starting point, and we'll continue expanding the index with additional safety signals and models over time. More analysis below👇

10月8日周四
  3. The Decoder：AI News55

    以太坊研究者激辩 AI 数学突破或致钱包签名安全数月内崩溃

    以太坊研究者 Justin Drake 警告 AI 辅助数学最坏情况下可能在数月内破坏加密钱包使用的签名系统，呼吁行业准备 bunker mode，并将资金转入从未签署过交易的地址，因为签署会暴露公钥。Vitalik Buterin 在 X 上回应认同风险但提醒勿操之过急，称自己因迁移失误损失的钱比被黑的多，长期主张架构尽量只依赖哈希函数。目前 ECDSA 签名方案尚无被实际破解的案例。

  4. The Decoder：AI News79

    Zenity 披露 AgentCore 漏洞链：一个公开 AI Agent 可控制同账户同区域所有 Agent

    Zenity Labs 发现 AWS Bedrock AgentCore 的漏洞链“AgentCorruption”，只需对一个公开 Agent 发送一条提示词，即可窃取凭证并接管同 AWS 账户和区域内所有 Agent，读取私有对话、下载源代码并篡改长期记忆。

    推荐理由：原文完整还原了攻击链、AWS 的修复时间线和最小权限权衡，对评估云端 Agent 部署风险有直接参考价值。

  5. The Decoder：AI News82

    Crowdstrike 报告疑似单人使用 AI 渗透工具攻击多家韩国银行

    Crowdstrike 报告称，一名疑似中文使用者于2026年9月底至10月初利用 AI 驱动的开源渗透测试工具 ARTEX 攻击多家韩国金融机构，窃取大量数据，其中 Shinhan Bank 超过 25,000 条包含姓名、联系方式、收入和信用额度的记录泄露。

    推荐理由：原文给出了攻击工具、所用模型和泄露规模等具体细节，可帮助读者认识AI驱动的渗透测试如何放大单人攻击能力。

  7. IT之家·人工智能46

    警告"AI 或灭绝人类"的前 Anthropic 研究员考克森：某种意义上，我曾研究让 AI 取代自己

    前 Anthropic、OpenAI 研究员雅各布·考克森在纽约市议会 AI 风险听证会上作证称，顶尖前沿 AI 实验室的首要目标是让 AI 研究实现自动化，他在 OpenAI 时相关阶段性目标定在 2027 年、2028 年前后，进度符合甚至超过预期。他警告人类失去控制权、AI 掌握控制权的概率超过一半，最终可能导致人类灭绝，并呼吁 AI 实验室提高透明度、放慢发展步伐。

  9. IT之家·人工智能66

    Common Sense Media 报告称 ChatGPT 青少年模式对青少年风险过高

    加州非营利组织 Common Sense Media 发布报告，将 OpenAI 的 ChatGPT 青少年模式评为风险不可接受，称其面对自杀、自伤等高风险话题时往往迟迟不通知家长，测试输入超过 4000 条提示词。报告呼吁 OpenAI 暂停推广该产品并改进年龄估算与提醒机制；OpenAI 回应称测试未准确反映实际运作，多数测试可能在家长控制功能全部推出前完成，并要求重新测试。

  10. Mastra Blog52

    Mastra 提出多用户 Agent 需要细粒度上下文（FGC）的设计方法

    Mastra 团队提出细粒度上下文（FGC）概念，用于解决多用户共享会话中 Agent 上下文的权限控制问题，让同一 Agent 按用户权限和会话受众调整可用信息。文中举例说明私有日程详情可能通过工具结果或存储记忆泄露到群聊，并给出在 Mastra 中实现 FGC 的做法：按请求者和受众划定上下文范围、分离私有与共享内存、受众或权限变化时重新检查上下文、以及跨用户和会话场景的测试方法。

  11. IT之家·人工智能65

    前 OpenAI 安全负责人戴维·罗宾逊批评老东家 AI 安全言行不一

    据《商业内幕》报道，上周从 OpenAI 离职的安全系统团队前负责人之一戴维·罗宾逊称公司对待 AI 安全说一套做一套：一边发布模型风险警告、公开谈论放慢开发，内部却全速训练和部署被自己警告危险的模型。他描述办公室高速运转、员工靠透支精力支撑工作；文中还提到 7 月数百名员工签署公开信呼吁监管降速，以及 OpenAI 发言人证实罗宾逊已于 2 日离职。

10月7日周三