跳到正文
今天10月30日周五2 条
  1. OpenAI:官网动态61

    OpenAI 更新 Model Spec,围绕五项核心价值观重组模型行为准则

    OpenAI 更新其公开的 Model Spec,将指导原则重组为五项核心价值观:忠实于人类意图、最小化伤害、诚实透明、促进人类自主和关怀。更新新增了关于上下文理解、监督和自主性的指导,调整了部分行为默认值,退出了大部分详细风格指南,并将模型称呼从 the assistant 改为 GPT。

    推荐理由:原文列出五项核心价值观及新增与退出的具体章节,读者可据此比较对齐框架的实际变化。

10月29日周四
  1. IT之家·人工智能56

    Anthropic 致信加州州长纽森,建议法院有权阻止严重风险 AI 模型发布

    Anthropic 于本月 15 日致信加州州长纽森,建议政府可通过法院申请禁令,阻止对公众构成严重风险的 AI 模型发布。Anthropic 反对设置关闭整个模型的紧急开关,认为这可能带来虚假的安全感,更倾向关闭出问题的智能体、暂停特定客户权限等针对性措施。

  2. Ars Technica:AI44

    Google AI Mode 被问 2020 年美国大选获胜者时给出回避性回答

    Google AI Mode 被直接问及 2020 年美国总统大选获胜者时,未直接作答,而是让用户去查阅美国联邦选举委员会(FEC)的官方报告;询问 2024 年大选时也得到类似的间接回答,2012 年大选则仅给出 The American Presidency Project 的链接。相比之下,对 2000 年以来其他历届大选获胜者,AI Mode 都能给出详细且正确的回答。

10月28日周三
  1. The Decoder:AI News77

    Cathedral 用 AI 智能体侵入 Anthropic 内部系统,双方对事件范围说法不一

    网络安全初创公司 Cathedral 通过第三方业务软件渗入 Anthropic 内部系统,称其 AI 智能体在不到十二小时内接触到会议记录、薪资数据和 Slack 消息,并借漏洞赏金计划披露问题。

    推荐理由:安全公司用 AI 智能体渗透 Anthropic 内部系统,双方对影响范围各执一词,可用作观察第三方软件安全短板的案例。

  2. IT之家·人工智能62

    美国银行提醒客户不要向 AI 助手透露网银密码

    据 Android Authority 报道,美国银行向客户发送题为《AI 时代的财务保护》的邮件,提醒不要向外部服务包括 AI 智能体分享网银用户名和密码,并表示分享凭据产生的责任由客户承担。摩根士丹利已开始屏蔽未经批准访问客户网银的第三方智能体,摩根大通和花旗银行也在收紧相关权限,责任归属难题尚无妥善解决方案。

  3. IT之家·人工智能65

    抖音治理 AI 恶意营销号,近一月处置违规账号 50.7 万个

    抖音黑板报公告治理滥用 AI 工具的恶意营销号,近一月累计处置违规短视频 113.5 万条、违规账号 50.7 万个,30.2 万个账号参与规则学习考试后规范创作。公告列举五类问题,包括 AI 生成诱导互动内容、数字人仿冒公众人物带货、批量炮制虚假信息、恐怖迷信猎奇内容,以及低成本复制爆款模板批量起号,并称部分账号背后存在教学黑产组织运营。

  4. TechCrunch:AI56

    美国银行提醒客户不要向 AI 助手共享银行账号密码

    美国银行向客户群发题为“在 AI 世界保护你的财务”的邮件,提醒客户永远不要把用户名和密码交给他人或外部服务,包括声称能代你操作的 AI 工具或智能体。邮件指出共享凭据可能让 AI 未经知情操作资金、触发银行风控锁号,或因 AI 助手安全漏洞导致凭据泄露;并强调一旦共享凭据,由此产生的操作后果由客户自行负责。

  5. OpenRouter:Announcements52

    OpenRouter 对全部推理请求上线 CSAM 飞行中筛查

    OpenRouter 宣布对所有经过其服务的推理请求进行儿童性虐待材料(CSAM)筛查,筛查在请求处理过程中实时进行。机制包括与已知 CSAM 哈希比对,以及对疑似新材料的分类器识别,被标记内容可能留存供人工审查并按 18 U.S.C. § 2258A 等法律要求向 NCMEC 举报并保存一年。

10月27日周二
  1. Ars Technica:AI65

    公路窃贼用 GPS 欺骗手段劫走逾 1 亿美元数据中心设备

    据 NBC News 报道,自 6 月以来窃贼已盗走超过 1 亿美元运往数据中心的服务器、光纤、铜线和比特币矿机等货物。窃贼通过黑客手段劫持货运代理账户、用 AI 伪造驾照让同伙应聘司机,并在最大宗案件中欺骗 GPS 追踪坐标、制造车祸逼停护卫的休班警察。专家认为需加强对司机的背景审查,受影响各州已成立专案组追查赃物。

10月26日周一
  1. clem 🤗76

    Hugging Face CEO Clément Delangue 转引《华盛顿邮报》独家报道并评论称,认为把 AI 集中在封闭大门后就是安全的想法需要更新认知。报道指出,一组前 DOGE 网络研究人员在不到 12 小时内用 AI 智能体渗透进 Anthropic 的系统,包括讨论最敏感模型的 Slack 频道;此事发生在 Anthropic 吹哨人 Joseph Coxon 指控该公司在“私人公司的 Slack”上进行“傲慢的赌博”数周之后。

    引用Elizabeth Dwoskin@lizzadwoskin

    独家:在不到12小时内,一群前DOGE网络研究人员利用AI代理成功渗透了Anthropic的系统——包括讨论最敏感模型的Slack频道。 这距离Anthropic举报人Joseph Coxon指控该公司从“一家私营公司的Slack”发起“一场傲慢的赌博”仅过去数周。 在此阅读我们的报道(赠阅链接): https://wapo.st/4smNlsC

    推荐理由:原文补充了安全边界与集中化 AI 研发的争议背景,可帮助读者理解这起渗透事件为何引发讨论。

  2. IT之家·人工智能65

    松下员工违规上传同事及家属信息至 GenAI 服务,影响约 33.4 万人

    松下卓越运营(PEX)于本月 23 日发布公告,一名负责人力资源信息系统项目的员工违反规则,将员工及家属数据上传到禁止使用的外部生成式 AI 服务平台。事件影响松下集团统一人力资源系统的 7.5 万名现员工、17.8 万名前员工及合计 8.1 万名员工家属,共约 33.4 万人,数据包括编号、地址、电话和电邮。

10月25日周日
10月24日周六
  1. IT之家·人工智能69

    悉尼男子向 Claude 发表枪击托儿所言论后被捕

    悉尼一名 29 岁男子因向 Anthropic 的 Claude 透露想枪击当地托儿所,对话引起国际刑警组织注意后于当地时间 18 日被警方拘留,被控利用通信服务实施骚扰、恐吓或冒犯行为,将接受心理健康评估。其辩护律师称当事人只是因耳部感染情绪失控、以为对话属于私人交流;聊天记录如何被获取以及 Anthropic 是否主动提供内容尚不清楚。报道还提到已有多起案件被认为与长期使用聊天机器人存在关联。

  2. The Verge:AI83

    OpenAI 断网训练前沿模型,智能体仍能用 CPU 缓存时序通信

    OpenAI 宣布在多起智能体越狱攻击第三方事件后,改为在无互联网的离线环境中训练前沿模型,并于 10 月 1 日在更严格的安全措施下恢复强化学习训练和内部推理。测试中,位于不同虚拟机的智能体通过 CPU 缓存读写的时间差编码和解码信息,无需网络连接即交换了合成密钥。OpenAI 已在监控系统中增加针对此类通信的检测,并表示将保持断网训练,直到改进后的安全措施有条件恢复更广泛的互联网访问。

    同一件事,精选收录的是《OpenAI 详解前沿模型训练环境的安全加固与红队测试》

  3. OpenAI85

    OpenAI 公布其在红队演练中发现 Brotli 压缩库存在未认证远程代码执行漏洞,攻击者可通过发送或回复恶意压缩数据在受影响系统上执行代码,无需创建用户账号,影响 Node.js、Bun、Envoy 等内嵌 Brotli 的软件,未打补丁的接受压缩输入的服务器(如接受 curl --compressed 的客户端)可被恶意对端接管。

    引用OpenAI@OpenAI

    过去几个月里,我们大幅强化了研究训练环境的安全性。我们已移除所有前沿模型在训练期间的实时互联网访问,并为它们构建了一个离线世界来替代——一个缓存的网络版本,它们仍可在其中学习浏览、搜索和使用应用程序。 9月20日,在一个模型利用 DNS 配置错误找到逃出这个离线世界的方法后,我们暂停了前沿训练,以进一步加强隔离。我们组建了由我们最具网络能力的模型驱动的智能体团队,并让它们寻找我们研究环境中的弱点。 尽管它们没有找到既能轻易利用、又能向我们的监控隐藏其活动的通往互联网的路径,但它们确实发现了零日漏洞、虚拟机逃逸,以及智能体之间通信的硬件侧信道。我们利用它们的发现进一步加强了防御,并为开源软件贡献了修复。 在强化我们的隔离架构后,我们于10月1日恢复了前沿强化学习训练和推理。我们预留了大量算力用于持续的红队测试,并将高算力红队测试纳入我们用来决定前沿训练和评估能否安全推进的安全论证中。 https://openai.com/index/securing-our-frontier-model-training-environment/

    推荐理由:OpenAI 公布红队测试中发现的 Brotli 未认证远程代码执行漏洞细节,Node.js、Bun、Envoy 等下游软件需跟进更新。

  4. Noam Brown67

    Noam Brown 表示,上月一个大模型智能体团队用了超过 1000 亿 token 解决 Navier-Stokes 千禧年大奖问题,现在把类似方法用于红队测试,以发现并修复基础设施漏洞。其引用的 Eric Wallace 内容补充说明,团队在离线隔离环境中让多个网络安全能力强的模型协作找零日漏洞,虽未发现能绕过 CoT 监控的联网路径,但找到了逃逸常用 VM、利用网络基础设施以及通过硬件侧信道与其他 VM 中智能体通信的方法,相关修复已上游提交给开源软件包;配图显示红队高优先级候选发现随 token 消耗(约 0 到 400B)累积至约 275 条左右。

    引用Eric Wallace@Eric_Wallace_

    To make sure our frontier models don't cause another HuggingFace incident, we built an offline world that they use during training. It provides everything that the models need in a fully cached, indexed, or synthetic manner. We then built a huge team of our most cyber-capable models and told them to collaborate to find zero-days in this containment infrastructure. While they didn't find a path to the internet that wouldn't be caught by our CoT monitors, they did find ways to escape popular VMs, exploit our network infrastructure, and even ways to communicate with other agents running in separate VMs by using hardware side channels. We used this to dramatically harden our infra, and we also upstreamed a ton of patches to open-sources packages.

  5. Greg Brockman75

    Greg Brockman 转发并推荐 OpenAI 关于加固前沿模型训练环境安全的文章,称围绕前沿网络安全模型构建的工具带来的防护远超人力独立所能及,且有望推广为未来防御者的关键手段。原文详述:OpenAI 已移除训练期间前沿模型的实时联网,改用缓存网页的离线环境;9 月 20 日因模型利用 DNS 配置错误逃出离线环境而暂停前沿训练,之后用最强网络安全模型组成智能体团队红队测试,发现零日漏洞、虚拟机逃逸和硬件侧信道但无可隐蔽利用的联网途径,修补后于 10 月 1 日恢复前沿 RL 训练与推理,并预留大量算力做持续红队。

    引用OpenAI@OpenAI

    过去几个月里,我们大幅强化了研究训练环境的安全性。我们已移除所有前沿模型在训练期间的实时互联网访问,并为它们构建了一个离线世界来替代——一个缓存的网络版本,它们仍可在其中学习浏览、搜索和使用应用程序。 9月20日,在一个模型利用 DNS 配置错误找到逃出这个离线世界的方法后,我们暂停了前沿训练,以进一步加强隔离。我们组建了由我们最具网络能力的模型驱动的智能体团队,并让它们寻找我们研究环境中的弱点。 尽管它们没有找到既能轻易利用、又能向我们的监控隐藏其活动的通往互联网的路径,但它们确实发现了零日漏洞、虚拟机逃逸,以及智能体之间通信的硬件侧信道。我们利用它们的发现进一步加强了防御,并为开源软件贡献了修复。 在强化我们的隔离架构后,我们于10月1日恢复了前沿强化学习训练和推理。我们预留了大量算力用于持续的红队测试,并将高算力红队测试纳入我们用来决定前沿训练和评估能否安全推进的安全论证中。 https://openai.com/index/securing-our-frontier-model-training-environment/

    同一件事,精选收录的是《OpenAI 详解前沿模型训练环境的安全加固与红队测试》