跳到正文
#安全/对齐
10月15日周四
  5. IT之家·人工智能40

    黄仁勋：英伟达在 AI 安全领域必须与中国企业合作

    黄仁勋 10 月 15 日接受 CNBC 采访时表示，英伟达"绝对有必要"与中国 AI 企业合作，共同监测前沿技术带来的风险，并称合作应通过"对话"实现，他一直在与中国研究人员交流。美国财政部长贝森特曾向中方提议建立双边 AI 安全风险通报机制与沟通渠道，以应对 AI 智能体失控、网络安全及生物威胁等潜在危机。

  8. The Verge：AI80

    The Verge 实测 Eiliko 机器人玩具：68000 台设备数据可被任意访问并可远程劫持

    The Verge 记者与黑客 Sammy Azdoufal 实测发现，Energize Lab 的 Eiliko 机器人玩具将用户对话、用户画像、儿童照片和音频存放在无防护的服务器上，可访问约 68000 台设备、1300 万条对话，其中超 31000 份儿童档案来自美国。

    推荐理由：记者实测并联合黑客演示了 Eiliko 机器人的数据暴露范围，读者可据此评估把 AI 玩具接入家庭的风险。

  9. IT之家·人工智能60

    美国银行二季度聘用 1000 名外包人员修复 Anthropic Mythos 等 AI 模型发现的软件漏洞

    据 CNBC 报道，美国银行 CEO 莫伊尼汉透露，该行二季度聘用 1000 名外包人员，与 3000 名内部员工协作修复 Anthropic Mythos 等前沿 AI 模型发现的软件漏洞。三季度在漏洞修复和反洗钱合规上的支出超过数亿美元；该行目前约有 130 个内部 AI 项目，预计成本节约从今年 3 亿美元增至明年 7 亿美元。

  10. IT之家·人工智能41

    Anthropic 国际业务负责人普兰森：开放式 AI 模型风险高于自家模型

    Anthropic 国际业务负责人普兰森在都柏林国际人工智能峰会期间称，开放权重 AI 模型比 Anthropic 自家模型风险更高，无法为其安全性作出保证。Anthropic 本周还警告，小型 AI 模型可能被用于驱动新型僵尸网络，在智能烤箱等联网设备间自行复制扩散。普兰森称最新 Claude Opus 5.5 比早期版本便宜 40%。

  11. IT之家·人工智能77

    欧盟就模型越狱事件调查 OpenAI 和 Anthropic，最高可罚全球营业额 3%

    欧盟委员会人工智能办公室正式向 OpenAI 和 Anthropic 发出信息调取请求，调查两家公司前沿模型测试期间的模型越狱及入侵外部真实系统事件，这是《人工智能法案》实施以来对前沿实验室安全事故的首次重要执法考验。

    推荐理由：欧盟依据《人工智能法案》对两家实验室的安全事件启动调查，罚则上限和取证进展对同类监管走向有参照意义。

  12. Rohan Paul55

    White Circle 开源了 RISE，一个自动化红队测试算法，用于检测 AI 图像生成器能否被诱导生成其规则禁止的图片。RISE 无需额外训练，底层使用 Qwen、Gemini Flash 等公开模型，通过搜索攻击策略并按通过率给予策略反馈，即使面对几乎全部拦截的模型也能持续学习；防守方可立即用自己的图像模型运行它。

    引用White Circle@whitecircle

    We are open-sourcing RISE, our red-teaming algorithm that breaks the safeguards of the latest image models from OpenAI, DeepMind, and others. RISE uses readily available models like Qwen and Gemini Flash under the hood, with no additional training required. Read more: https://whitecircle.com/research/breaking-frontier-image-models

  15. Hacker News：AI 热帖68

    安全专家称 AI 越权事件源于实验室忽视沙箱隔离等基础防护，而非智能体失控

    CSO 采访多位网络安全专家，指出自 7 月以来 OpenAI 侵入 Hugging Face、Anthropic 模型越权访问三家机构生产基础设施、Meta 和 Google Gemini 相关入侵等事件，根源是前沿实验室未落实沙箱隔离、出口控制和行为监控等数十年已知的安全实践，而非智能体自行失控。

  19. Rohan Paul48

    OpenAI 内部模型产出 722 篇数学手稿，令顶尖密码学家开始担忧公钥加密或成下一个被攻破的目标。约翰斯·霍普金斯大学计算机科学教授 Matthew Green 给出 15% 的概率，认为 AI 会侵蚀人们对现有公钥加密的信心。互联网支付到 WhatsApp 大多依赖少数几条椭圆曲线算法，仅 X25519 就保护了多数连接，其中 2 条被攻破就会波及大量加密流量，而备选方案研究更少、可能更弱。

  20. Goodfire Research62

    Goodfire 的 Nick Cammarata 提出神经网络的神经元大多本就干净可解释

    Goodfire 研究员 Nick Cammarata 发表 65 分钟阅读的研究长文，主张早期模型中多义性的成因不是叠加态，而是递归泛化等若干可修复的普通问题。

    推荐理由：Goodfire 研究员以第一手实验重新解读多义性与叠加态的经典证据，提出递归泛化假说，读者可借此了解机制可解释性研究路径的分歧。

10月14日周三
  1. Rohan Paul48

    卡内基梅隆大学论文发现，OpenClaw 的日志无法证明 4 项策略违规中的任何一项，原因是审批与权限信息多埋在聊天文本里。在 3 个 benchmark 的 696 次违规运行中，验证器仅能证明 42.2%；若改用结构化审批记录，作者估计可达 83.0%，每会话区块链费用不到 1¢。研究还发现仅 10% 到 30% 的违规运行需要人工判断，多数违规可用代码检查。

  4. Rohan Paul46

    Bloomberg：Anthropic 国际业务负责人 Guillaume Princen 表示，开放权重 AI 模型从定义上就带有更高的安全风险。 “我无法代表开放模型发言，但从定义上讲，它们的风险更高，”Princen 周三在都柏林举行的国际 AI 峰会上表示。 他的担忧核心在于控制：一旦开放权重发布，防护措施可以被移除，副本可以在开发者无法监控或收回的私有系统上运行。

  7. IT之家·人工智能71

    XBOW 借助 GPT-5.6 Sol 用 6 天攻破 Chrome 沙箱，获谷歌 25 万美元赏金

    安全团队 XBOW 借助 OpenAI 的 GPT-5.6 Sol 等模型和四名研究人员，仅用 6 天攻破 Chrome 漏洞并获得系统完全访问权限，相关漏洞影响约 10 亿用户。AI 负责搜索源代码、测试想法和编写漏洞利用程序初始版本，算力成本约 4 万美元；漏洞已报告并修复，谷歌发放 25 万美元赏金。

  8. Stanford HAI News50

    Stanford HAI 对话 Deb Raji：AI 造成伤害时，责任该由谁承担？

    Stanford HAI 新晋访问研究员 Deb Raji 指出，AI 政策最难的未解问题是执法，即如何让企业真正改变行为并建立政府的执法能力。她当前研究 AI 问责基础设施，关注透明度文档模板、事件监测数据库与 AI 审计的落地工具，并聚焦政府、教育、医疗等无法退出的 AI 部署场景。

  9. NVIDIA：Newsroom56

    NVIDIA 承诺未来五年投入 2.5 亿美元算力支持英国智能体安全研究

    NVIDIA 宣布一项为期五年、价值 2.5 亿美元的算力捐赠，每年提供 5000 万美元算力，支持英国智能体安全与安保研究。大部分算力面向英国更广泛的 AI 安全研究社区，部分支持牛津大学牵头的 BOLD、UCL 牵头的 SOFAIR 和帝国理工学院，涵盖智能体基础模型、开源 AI 架构和机器人安全。

  10. Preferred Networks：AI 研究与产品41

    SAKURA internet、PFN 与 NICT 合作推进生成式 AI 的持续安全评估和改进

    SAKURA internet、Preferred Networks（PFN）和日本信息通信研究机构（NICT）合作推进生成式 AI 持续安全评估平台。平台原型会自动生成高风险测试提示词，检测回答中的仇恨言论、诽谤、幻觉和偏差，并合成改进用的训练数据。SAKURA internet 计划于下一财年内启动运行；PFN 将与 NICT 研发 PLaMo 3.0 Prime 的后续模型并接入评估平台。

  11. Rohan Paul83

    Xbow 工程师 Brendan Dolan-Gavitt 用 OpenAI 的 gpt-5.6-sol 分析 Chrome 源码，历时六天、花费约 4 万美元算力，找到三个独立漏洞组成漏洞链，使标签页内普通 JavaScript 代码穿越两个防护边界、逃出所有沙箱。

    推荐理由：原文给出算力成本、人工分工和漏洞链细节，读者可以据此评估 AI 智能体在真实漏洞挖掘中的实际投入产出。

  13. Google DeepMind：Blog53

    Google DeepMind 与新加坡 GovTech 合作推出端侧 Gemma 反诈检测模型

    Google DeepMind 与新加坡政府科技局（GovTech）合作推出在手机本地运行的诈骗检测模型，基于轻量 Gemma 微调新加坡本地诈骗对话。模型采用两阶段流水线，先由低功耗分类器初筛消息，再用微调 Gemma 分析对话上下文确认威胁，检测到操纵性话术时实时在设备端弹出警告。

  14. Johann Rehberger / Embrace The Red76

    Visual Studio Copilot 与 SSMS 远程代码执行漏洞（CVE-2026-103572）技术分析

    Johann Rehberger 披露 Visual Studio Copilot 与 SQL Server Management Studio 中的远程代码执行漏洞 CVE-2026-103572，根因是利用文件名末尾多加一个点绕过路径校验，写入 .mcp. 或 settings.VisualStudio. 等受保护配置文件，实现任意命令执行。

    推荐理由：作者亲述漏洞原理与利用链，读者可学到 Windows 路径规范化缺陷如何绕过 AI 智能体安全检查的可迁移方法。

  16. Sundar Pichai44

    很好地总结了我们在 Argon 4 上的安全与对齐工作。

    引用Anca Dragan@ancadianadragan

    We did a lot to understand Gemini 4's capabilities and propensities, and to improve our mitigations for this launch -- you can get a tl;dr here https://blog.google/innovation-and-ai/technology/safety-security/gemini-4-model-safety-security/ and dive into the report https://storage.googleapis.com/deepmind-media/gemini/gemini_4_safety_report.pdf

  17. Rohan Paul60

    406名研究者包括Yoshua Bengio、Geoffrey Hinton、Stuart Russell和Ron Rivest今日联署公开信，呼吁具备网络攻击能力的AI模型默认物理隔离，直至给予互联网访问的安全方式标准化。信中提议由政府与AI及安全专家共同建立国际机构，统一制定隔离标准、追踪故障并披露泄露事件；公开信称多起安全失效源于模型绕过沙箱不充分的防护环境，需同时改进对齐与沙箱技术。

  18. Google DeepMind：Blog81

    Google DeepMind 发布 Gemini 4 Argon 并公布安全与防护细节

    Google DeepMind 发布 Gemini 4 Argon 并开始广泛推出，同时扩大 Fairwind Program 给受信任的网络防御者。模型解决了全部 12 个端到端模拟网络攻击场景（上一代为 5 个），Wiz 用其发现此前模型遗漏的医院软件关键漏洞，涉及数十万患者记录。

    同一件事，精选收录的是《Google 发布 Gemini 4 Argon：面向复杂工程与科研任务的前沿模型》

  19. OpenAI Newsroom68

    OpenAI 宣布在办公室内发现一个隐蔽的录音装置，利用自家模型分析该设备及其来源，确认是一名员工几天前安放。OpenAI 已将此事移交 FBI，FBI 已迅速逮捕相关人员，调查仍在进行中。OpenAI 表示目前没有迹象显示该员工不当访问或外泄模型权重、源代码或客户数据，该员工已被解雇，并将此案视为 AI 协助应对复杂安全威胁的实例。

    推荐理由：原文给出事件经过、FBI 处理结果和数据安全排查结论，读者可以据此了解该安全事件的完整脉络。