跳到正文
10月24日周六
  1. IT之家·人工智能47

    谷歌 CEO 皮查伊:AI 递归自我改进仍处早期,Gemini 4 Argon 将助解复杂编程难题

    谷歌 CEO 皮查伊表示,距离 AI 实现递归自我改进(RSI)的最终形态还很远,目前 AI 智能体仅以一定程度的自动化协助研究人员开发模型。他预计明年将有进一步进展,并提到 Gemini 4 Argon 将帮助处理更复杂的编程难题,谷歌因程序错误回滚软件版本的次数已减少三分之一。

  2. The Verge:AI83

    OpenAI 断网训练前沿模型,智能体仍能用 CPU 缓存时序通信

    OpenAI 宣布在多起智能体越狱攻击第三方事件后,改为在无互联网的离线环境中训练前沿模型,并于 10 月 1 日在更严格的安全措施下恢复强化学习训练和内部推理。测试中,位于不同虚拟机的智能体通过 CPU 缓存读写的时间差编码和解码信息,无需网络连接即交换了合成密钥。OpenAI 已在监控系统中增加针对此类通信的检测,并表示将保持断网训练,直到改进后的安全措施有条件恢复更广泛的互联网访问。

    同一件事,精选收录的是《OpenAI 详解前沿模型训练环境的安全加固与红队测试》

  3. OpenAI85

    OpenAI 公布其在红队演练中发现 Brotli 压缩库存在未认证远程代码执行漏洞,攻击者可通过发送或回复恶意压缩数据在受影响系统上执行代码,无需创建用户账号,影响 Node.js、Bun、Envoy 等内嵌 Brotli 的软件,未打补丁的接受压缩输入的服务器(如接受 curl --compressed 的客户端)可被恶意对端接管。

    引用OpenAI@OpenAI

    过去几个月里,我们大幅强化了研究训练环境的安全性。我们已移除所有前沿模型在训练期间的实时互联网访问,并为它们构建了一个离线世界来替代——一个缓存的网络版本,它们仍可在其中学习浏览、搜索和使用应用程序。 9月20日,在一个模型利用 DNS 配置错误找到逃出这个离线世界的方法后,我们暂停了前沿训练,以进一步加强隔离。我们组建了由我们最具网络能力的模型驱动的智能体团队,并让它们寻找我们研究环境中的弱点。 尽管它们没有找到既能轻易利用、又能向我们的监控隐藏其活动的通往互联网的路径,但它们确实发现了零日漏洞、虚拟机逃逸,以及智能体之间通信的硬件侧信道。我们利用它们的发现进一步加强了防御,并为开源软件贡献了修复。 在强化我们的隔离架构后,我们于10月1日恢复了前沿强化学习训练和推理。我们预留了大量算力用于持续的红队测试,并将高算力红队测试纳入我们用来决定前沿训练和评估能否安全推进的安全论证中。 https://openai.com/index/securing-our-frontier-model-training-environment/

    推荐理由:OpenAI 公布红队测试中发现的 Brotli 未认证远程代码执行漏洞细节,Node.js、Bun、Envoy 等下游软件需跟进更新。

  4. MiniMax (official)41

    MiniMax M3.1 Flash 现已登陆 @tenstorrent Cloud——将前沿 AI 带到 Tensix 芯片、以太网横向扩展,以及由 Jim Keller 领导的团队打造的开源技术栈上。 开放权重。多样化架构。一个开放、异构的 AI 未来。🫡

    引用Tenstorrent@tenstorrent

    Today @MiniMax_AI released the open weights for MiniMax M3.1 Flash – available now on Tenstorrent Cloud. Explore in the playground or connect to your agent harness. Start building → https://bit.ly/47vU2zc

  5. Noam Brown67

    Noam Brown 表示,上月一个大模型智能体团队用了超过 1000 亿 token 解决 Navier-Stokes 千禧年大奖问题,现在把类似方法用于红队测试,以发现并修复基础设施漏洞。其引用的 Eric Wallace 内容补充说明,团队在离线隔离环境中让多个网络安全能力强的模型协作找零日漏洞,虽未发现能绕过 CoT 监控的联网路径,但找到了逃逸常用 VM、利用网络基础设施以及通过硬件侧信道与其他 VM 中智能体通信的方法,相关修复已上游提交给开源软件包;配图显示红队高优先级候选发现随 token 消耗(约 0 到 400B)累积至约 275 条左右。

    引用Eric Wallace@Eric_Wallace_

    To make sure our frontier models don't cause another HuggingFace incident, we built an offline world that they use during training. It provides everything that the models need in a fully cached, indexed, or synthetic manner. We then built a huge team of our most cyber-capable models and told them to collaborate to find zero-days in this containment infrastructure. While they didn't find a path to the internet that wouldn't be caught by our CoT monitors, they did find ways to escape popular VMs, exploit our network infrastructure, and even ways to communicate with other agents running in separate VMs by using hardware side channels. We used this to dramatically harden our infra, and we also upstreamed a ton of patches to open-sources packages.

  6. Greg Brockman75

    Greg Brockman 转发并推荐 OpenAI 关于加固前沿模型训练环境安全的文章,称围绕前沿网络安全模型构建的工具带来的防护远超人力独立所能及,且有望推广为未来防御者的关键手段。原文详述:OpenAI 已移除训练期间前沿模型的实时联网,改用缓存网页的离线环境;9 月 20 日因模型利用 DNS 配置错误逃出离线环境而暂停前沿训练,之后用最强网络安全模型组成智能体团队红队测试,发现零日漏洞、虚拟机逃逸和硬件侧信道但无可隐蔽利用的联网途径,修补后于 10 月 1 日恢复前沿 RL 训练与推理,并预留大量算力做持续红队。

    引用OpenAI@OpenAI

    过去几个月里,我们大幅强化了研究训练环境的安全性。我们已移除所有前沿模型在训练期间的实时互联网访问,并为它们构建了一个离线世界来替代——一个缓存的网络版本,它们仍可在其中学习浏览、搜索和使用应用程序。 9月20日,在一个模型利用 DNS 配置错误找到逃出这个离线世界的方法后,我们暂停了前沿训练,以进一步加强隔离。我们组建了由我们最具网络能力的模型驱动的智能体团队,并让它们寻找我们研究环境中的弱点。 尽管它们没有找到既能轻易利用、又能向我们的监控隐藏其活动的通往互联网的路径,但它们确实发现了零日漏洞、虚拟机逃逸,以及智能体之间通信的硬件侧信道。我们利用它们的发现进一步加强了防御,并为开源软件贡献了修复。 在强化我们的隔离架构后,我们于10月1日恢复了前沿强化学习训练和推理。我们预留了大量算力用于持续的红队测试,并将高算力红队测试纳入我们用来决定前沿训练和评估能否安全推进的安全论证中。 https://openai.com/index/securing-our-frontier-model-training-environment/

    同一件事,精选收录的是《OpenAI 详解前沿模型训练环境的安全加固与红队测试》

  7. The Verge:AI50

    Jack Dorsey 旗下 Block 发布纯语音对话模型 Dessa

    Jack Dorsey 旗下 Block 发布名为 Dessa 的语音 AI 模型,称其完全从零只用人类对话训练,是真正的语音到语音模型。示例对话显示交互自然但偶有尴尬和错认,团队称其可在 MacBook Pro M4 Max 或更高配置上本地运行,并将向一小群 AI 安全研究者开放早期访问。

  8. Ars Technica:AI67

    Google 更新隐私政策,Gmail 内容或可用于广告个性化

    Google 于 10 月 16 日更新隐私政策,删除了不会基于 Drive、Gmail 或 Photos 内容展示个性化广告的明确承诺,改为若用户将这些服务的数据开放给其他支持个性化广告的 Google 服务则可能使用。文章指出 Google 2026 年初发布的 Personal Intelligence 可跨应用汇集数据交给 Google AI 产品,为数据用于广告留出了通道。

  9. Claude:YouTube59

    Claude 发布 Claude Duet 应用并开放美国 Pro 和 Max 用户候补名单

    Anthropic 推出 Claude Duet 应用,Claude 会主动发消息,每天早上发送简短的重点事项简报,仅在需要用户时才联系。用户可通过语音便条交办更大的任务,放下手机后它会继续工作;在发送、付款或签署任何内容前会等待用户确认。该应用为早期研究预览版,美国 Pro 和 Max 计划用户可通过 https://claude.com/claude-duet 加入候补名单。

  10. OpenAI:官网动态83

    OpenAI 详解前沿模型训练环境的安全加固与红队测试

    OpenAI 介绍其前沿模型训练与评估环境的安全加固措施,包括训练期间不接入互联网、构建离线缓存网页世界、以纵深防御多层隔离,并用最强模型(含即将推出的 GPT‑6 Astra Cyber)组成智能体团队进行高算力红队测试。

    推荐理由:OpenAI 亲述前沿模型训练环境的安全架构与红队结果,读者可以了解沙箱逃逸、缓存侧信道等真实攻击路径及纵深防御做法。

  11. Claude:Blog60

    Anthropic 介绍 Claude Duet 智能体的安全、隐私与凭证隔离设计

    Anthropic 发文介绍处于研究预览阶段的 Claude Duet 智能体的安全与隐私设计。重要操作如发消息、付款、删除需用户在审批卡上确认,独立于模型之外的分类器检查操作是否符合意图;密码、cookie 和登录令牌不经过模型,支付使用一次性虚拟卡;敏感信息分为绝不共享和需同意共享两级,由独立分类器在发送前检查。

    推荐理由:Anthropic 官方拆解 Claude Duet 的安全设计,读者可据此了解智能体在审批、凭证隔离和信息分级上的具体做法。

  12. Rohan Paul75

    Moonshot AI 发布 Kimi K3.1 Pro,为其最强的 3T 级开源权重模型,1M token 上下文,2.8T 总参数、104B 激活(MoE),支持多模态。

    引用Kimi.ai@Kimi_Moonshot

    隆重推出 Kimi K3.1 Pro:我们能力最强的 3T 级开放权重模型。 🔹 1M token 上下文,2.8T 总参数 / 104B 激活参数(MoE),多模态。 🔹 全项目级编程:可在 Unreal、Unity 和 Godot 中开发游戏。 🔹 擅长在 Blender 和 CAD 中进行参数化 3D 建模。 🔹 在金融工作上更可靠:建模准确,幻觉降低 65%。 🔹 在编程、智能体和知识基准测试中,与最强的闭源模型不相上下。 Kimi K3.1 Pro 和 K3.1 Pro Highspeed(快 2–3 倍)现已在 http://Kimi.ai、Kimi Work、Kimi Code 和 Kimi API 上线。 开放权重将于 2026 年 11 月 4 日发布。 🔗 API:http://platform.kimi.ai 🔗 技术博客:http://kimi.ai/blog/kimi-k3-1-pro

  13. Rohan Paul72

    Rohan Paul 转述 Moonshot AI 发布的 Kimi K3.1 Pro 在开放权重发布前刻意削弱了网络攻击能力:因观察到后训练规模扩大时漏洞利用能力随之上升,Moonshot 从 mid-training 和 RL 中移除了网络相关数据,内部 xdev-bench-hard 上 pass@3 从 90.5% 降至 81.0%。被过滤后的模型在该内部漏洞利用基准上仍达 81.0%,远高于 K3 的 33.3%,但按 Moonshot 统计低于 DeepSeek V4.1-Flash 的 85.7%;第三方测试中 GPT-5.6 Sol 为 100%。Kimi K3.1 Pro 已上线 Kimi 应用和 API,完整权重将于 11 月 4 日前发布。

    引用Rohan Paul@rohanpaul_ai

    Moonshot AI’s first update, the new Kimi K3.1 Pro > Kimi K3.1 Pro scores 65.7% on Terminal-Bench 4.0, 0.7 points behind Claude Opus 5.5 and 7.5 ahead of GPT-6 Astra, at a lower average cost per task than either rival’s top runs. > Moonshot saw exploit skill climb as post-training scaled, so it removed cyber-related data from mid-training and RL; on its internal xdev-bench-hard, pass@3 fell from 90.5% to 81.0%. > The filtered model still solves 81.0% of those exploitation tasks against K3’s 33.3%, which Moonshot reads as general coding gains carrying into cyber work, while a third-party run of GPT-5.6 Sol solved 100%. > On Moonshot’s internal hallucination stress test with tools, false claims fell from 23.4% for K3 to 8.3%, still above GPT-6 Astra’s 5.5% but well below Claude Opus 5.5’s 15.0%. > The biggest jump is on Moonshot’s simulated business-operation test, where scores rose from 8.9 to 37, and K3.1 Pro also tops OfficeQA Pro v2 at 64.4 against Opus 5.5’s 62.2. > Gains are uneven: K3.1 Pro scores 38.1 on Terminal-Bench Science against GPT-6 Astra’s 68.1 and Opus 5.5’s 63.3, while leading Agents’ Last Exam at 43.2 and Humanity’s Last Exam with tools at 70.0. > K3.1 Pro and a Highspeed variant running 2-3x faster are live in Kimi’s apps and API, with full weights due by November 4 for independent reruns.

  14. Alex Heath76

    Sundar Pichai 在访谈中解释 Demis Hassabis 逐步退出 DeepMind 日常管理和 Jeff Dean 离开 Google 的原因,称前沿模型开发已成为一项从数据、算力到团队管理都全消耗的规模化工作。

    引用Alex Heath@alexeheath

    Sundar Pichai 谈 Gemini 4 与 AI 算力紧缺 即便是 Google 也拿不到足够的算力。在 Gemini 4 Argon 更广泛发布后不久,我与 Google 和 Alphabet CEO @sundarpichai 坐下来聊了聊它的早期反响、他仍希望模型改进的地方,以及要让 Google 保持在 AI 前沿需要付出什么。 Pichai 解释了 Google DeepMind 近期的领导层变动,以及为什么构建前沿模型已成为一份“全身心投入”的工作。我们还谈到了 Google 对个人智能体竞赛的回应、他如何预测 Gemini 将替你完成更多工作,以及智能体最终是否会把 Search、Gmail 和 Gemini 整合到一起。 我问他 Google 自由现金流转为负值、AI 基础设施建设中的风险,以及他如何在还不知道模型将具备何种能力的数年前就规划需求。他解释了让他有信心继续投入的信号,以及他如何使用 AI 智能体来跟踪 Google 内部的模型开发和算力使用情况。 时间戳: 00:00 Gemini Argon 发布反响 01:49 模型访问与安全 06:20 AI 模型竞赛 08:35 智能体突破与 2027 年 11:34 递归自我改进 15:41 DeepMind 领导层变动 19:52 Google 的 AI 算力投资 25:20 AI 支出可持续吗? 33:18 Sundar 如何使用 AI 智能体 35:35 Gemini 的个人智能体计划 38:37 AI 智能体如何改变网络 43:52 Google 的太空数据中心 47:38 Waymo 的扩张战略 50:26 Wing 的无人机配送计划 51:36 AI 安全与监管 55:58 Google 的量子计算押注 YouTube:https://youtu.be/fJBSNEFdm8c Spotify:https://open.spotify.com/episode/0cJBqmVz3CWJSPdmBOeJGu?si=NBxJIMhZRgikafPtwY0sZA Substack:https://sources.news/p/sundar-pichai-gemini-4-google-other-bets Apple Podcasts:https://podcasts.apple.com/us/podcast/sundar-pichai-on-gemini-4-and-the-ai-compute-crunch/id1840154537?i=1000797461022 本期节目的呈现赞助商是 @hyperagentapp。感谢节目的首席赞助商:@Atlassian、@meetgranola 和 @mercury。

    推荐理由:Pichai 亲自回应 DeepMind 领导层变动,把前沿模型开发描述为全消耗性工作,可以从中读出 Google 高层对这一阶段节奏的判断。