#具身智能

如果机器人能在视频生成模型内部做梦会怎样？我们推出 DreamGen，这是一种全新引擎，它不依赖成群的人类操作员，而是借助以像素为单位的数字梦境来规模化机器人学习。DreamGen 生成海量的神经轨迹——即与电机动作标签配对的逼真机器人视频——并解锁了对新名词、新动词和新环境强大的泛化能力。无论你是人形机器人（GR1）、工业机械臂（Franka），还是一个可爱的小机器人（HuggingFace SO-100），DreamGen 都能让你做梦。 像 Sora 和 Veo 这样的视频生成模型本质上是神经物理引擎。通过压缩数十亿条互联网视频，它们学习到了一个包含无数可能的未来的多重宇宙——即从任意初始图像帧出发，世界可能如何展开的叠加态。DreamGen 通过一个简单的四步方案利用了这种能力： 1. 在目标机器人上微调一个 SOTA 视频模型； 2. 用多样化的语言提示词提示模型，模拟平行世界：你的机器人在新场景中会如何行动。过滤掉那些不遵循指令的坏梦（哈！）； 3. 利用逆动力学或潜在动作模型恢复伪动作； 4. 在經過大规模增强的神经轨迹数据集上训练机器人基础模型。 就这么简单。只是更多的数据，以及纯粹的旧式监督学习。很简单，对吧？ 令人惊叹的是它的效果能走多远。仅从一个单任务的“拾取-放置”数据集出发，我们的人形机器人学会了 22 种新行为，例如倒水、折叠、舀取、熨烫和锤击，尽管它从未见过这些动词。更棒的是，我们可以把机器人从实验室带出来，放到 NVIDIA 总部咖啡馆里，让 DreamGen 施展它的魔法。我们展示了真正的从零到一的泛化：新动词的成功率从 0% 提升到超过 43%，在未见过的环境中从 0% 提升到 28%。 与传统的图形引擎相比，DreamGen 并不在乎场景是否涉及可变形物体、流体、半透明材质、高接触交互或疯狂的光照。手工构建这些场景可不容易。对于 DreamGen，每个世界都只是通过扩散神经网络的一次前向传播。无论梦境多复杂，展开它所需的计算时间都是恒定的。 立即阅读我们的博客和论文！我们计划在未来几周内完全开源整个管道。链接在帖子中。

@DrJimFan 特斯拉已经拥有这个功能好几年了。用于创建不寻常的训练样本（例如近乎正面碰撞），即使现场有800万辆车也需要补充数据，尤其是随着我们的汽车变得越来越安全，危险情况变得非常罕见。

我对 AGI 的标准是：一个 AI 凭借它自己提出的新理论赢得诺贝尔奖。

Virtual Community provides an online pipeline that automatically generates 3D scenes from real geospatial data, performing comprehensive cleaning and enhancement of both geometry and texture — including mesh simplification, texture refinement, object placement, and automatic annotation. 3/n

we crossed the turing test & no one gave a shit. no parades. no front page headlines. just… a casual shrug. like “oh yeah, the machines are smart enough to fool us now. anyway, what’s for lunch?” that silence tells you everything about the pace we’re moving at. back in my cs classes, the turing test was treated like the final boss. now every break through is another god damn tuesday.

激动地宣布 GR00T N1，全球首个面向人形机器人的开放基础模型！我们的使命是让物理 AI 走向大众。通用机器人大脑的力量，尽在掌中——仅有 2B 参数，N1 从迄今汇编的最多样化物理动作数据集中学习，以小博大： - 真实人形遥操作数据。 - 大规模仿真数据：我们开源 300K+ 轨迹！ - 神经轨迹：我们应用 SOTA 视频生成模型来“幻觉”出新的合成数据，其像素级特征具备准确的物理特性。用 Jensen 的话说，“系统性地无限数据”！ - 潜在动作：我们开发新颖算法，从野外人类视频和神经生成视频中提取动作 token。 GR00T N1 是一个单一的端到端神经网络，从光子到动作： - 视觉-语言模型（系统 2）通过视觉和语言指令解读物理世界，使机器人能够对其环境和指令进行推理，并规划正确的动作。 - 扩散 Transformer（系统 1）以 120 Hz“渲染”平滑而精确的运动动作，执行系统 2 制定的潜在计划。 我们将 N1 部署在 GR1 机器人、1X Neo 机器人以及大量仿真基准上。N1 在家庭和工业环境中的多样化操作任务上实现了高达 +30% 的提升。 虽然人形机器人是 N1 的主要焦点，但我们的模型也支持跨具身。我们对其微调，使其能在价值 $110 的 HuggingFace LeRobot SO100 机械臂上工作！开放机器人大脑运行在开放硬件上。听起来正合适。 让我们一起解决机器人技术，一次一个 token。 我们的白皮书、Github 仓库、HuggingFace 模型和开放数据集页面的链接在帖子串中：🧵