DeepMind 研究副总裁 Raia Hadsell 演讲：智能不应止步于语言

Raia Hadsell 在今年 RAAIS 上表示，Google DeepMind 二十年来学到的最重要的一点是：一个在复杂系统的足够多数据上训练的大模型，能够学会该系统的底层模式。语言就是这样一个系统。天气、生物学、合成世界和物理运动也是，而令她沮丧的是，这个领域一直把语言当作全部。

Hadsell 曾在 2017 年首届 Research and Applied AI Summit 上发言，此次回归为第十届揭幕。她现在是 DeepMind 的研究副总裁，在那里与另一位负责人共同领导一个前沿 AI 部门，约有一千名研究人员和工程师，分布在大约一百个项目中。她并非机器学习出身：她的本科学位是哲学。她的演讲在某种程度上是一种纠偏。

反对一次一个 token 的理由

在她演讲前不到 48 小时，DeepMind 发布了 DiffusionGemma，这是 Gemma 4 系列中的新开放模型，采用 Apache 2.0 许可证。它是一个 260 亿参数的混合专家模型，生成文本的方式与大多数语言模型不同。它不是逐个产生 token，而是借用图像和视频生成背后的方法：取一个样本，加入噪声，学习去噪。应用于文本，这意味着一次性生成整个块，而不是按顺序确定每个词。

这一机制带来两点好处。推理更快，因为模型不是从左到右推进。而且由于它写入并修订整个块，它可以双向推理并自我纠正。Hadsell 展示了它在解题时显示其工作过程：在第一次去噪步骤后它确定了错误答案，到第二步它重新考虑，到第三步整个块一致且正确。自回归模型由于在过程中锁定了每个 token，无法做到这一点。她说，这就是从左到右的模型在结构上不适合数独的原因，数独要求看到整个网格并同时在其上进行推理。扩散还附带带来自适应计算：简单问题几步收敛，更难的问题需要更多步。在实践中，它快到可以实时跟上你，以你能描述需求的速度编写、运行和测试代码。尽管如此，DiffusionGemma 是实验性发布，而不是标准自回归 Gemma 4 模型的替代品，文本扩散也有其自身的权衡。DeepMind 随模型一起发布了微调代码。

更好的智能体需要更好的世界

Hadsell 将 DeepMind 的世界模型工作追溯到一个简单的理念：通过构建更好的环境来获得更好的智能体，这些环境要足够丰富，能够不断产生新的情境供学习。世界模型模拟环境的动态，DeepMind 认为这些对于通往 AGI 的道路至关重要，因为它们为智能体提供了无限、丰富的训练世界。

这条发展线从 Genie-1 开始，它于 2023 年基于 2D 平台游戏训练，2024 年发布；接着是 Genie-2，转向潜在扩散，能生成交互式 3D 环境，但仍是合成的且非实时；再到 Genie-3，它高分辨率、跨领域通用，并能实时运行数分钟且保持一致性。你给它一个文本提示，就能得到一个可以穿行的世界。提示“英格兰肯特郡的一条乡间小路”，加上雨，模型就会补全行走的人、水坑，以及一双她相当确定自己并不拥有的黄色靴子。你可以在世界运行过程中输入新的提示来改变它。

上个月，团队将 Genie 落地到 Street View 中。他们取一张 Street View 的静态全景图，将其转成短视频，用提示加入冬季天气或某个角色等变化，再把它作为 Genie 世界的起始帧输入，足以让你走过金门大桥，然后潜入水下，同时模型保持大桥的几何结构不变。Hadsell 最兴奋的是教育：亲临历史事件现场，而不是阅读相关记载；或者跟随红细胞穿过循环系统，模型与教科书章节绑定，用她的话说，“如果我们不想，就不会有龙闯进来。”

机器人技术仍是难点

Hadsell 从事机器人研究已超过十年，她直言这个领域很难，是硬件、软件与理解的相互作用，目标是造出能胜任人类任何任务的通用机器。DeepMind 像人体一样拆分问题，分为大脑和脊柱。脊柱负责快速的精细运动控制，这些控制不必经过大脑；大脑负责理解与规划。两个模型承担这一分工。Gemini Robotics-ER 1.6 是经过调优的 Gemini 模型，擅长空间理解和工具使用，能从杂乱场景中挑出单个物体。另一个独立的视觉-语言-动作模型接收视觉输入和推理器的指令，输出运动控制。在与 Boston Dynamics 合作时，他们发现有些任务需要的不仅是空间感知：让 Spot 读取一个小仪表，需要调用工具放大表盘，并通过推理来解读它。

她说，前沿在于高效学习。收集机器人数据的方式从昂贵且狭窄的遥操作，到 MuJoCo 等物理模拟器，再到直接从互联网视频学习这一理想目标。世界模型如今就处在这条链条中。它们能以足够高的保真度生成新颖的交互数据来训练机器人模型，Hadsell 说，你分不清真实的机器人日志和模拟的日志。再结合跨具身学习——在一个机器人上收集的数据能迁移到其他机器人——性能提升就“免费”而来。这正是演讲论证的闭环之处：同一套基础模型配方，指向世界，就成为训练机器人的引擎。

别再只盯着语言

她的结束语回到了开场时的沮丧：该领域几乎所有的注意力都集中在语言上，她认为这是一种浪费。造就当今语言模型的同一套方法可以指向远为丰富的系统：世界、机器人、生物学、天气，以及行星尺度上地球生物圈的多样性。数据已经存在；模型却几乎尚未建立。在她看来，未来十年的进展将经由这些系统实现，而与把聊天机器人做得更大关系不大。