Gemini Robotics ER 2 公开预览发布,含实时流式端点
Google 在 Gemini API 更新日志中宣布 Gemini Robotics ER 2 进入公开预览,发布两个具身推理模型端点。
Google 在 Gemini API 更新日志中宣布 Gemini Robotics ER 2 进入公开预览,发布两个具身推理模型端点。
李飞飞与 World Labs 于 7 月 21 日宣布收购机器人仿真公司 SceniX,并发布其 R2S2R(真实-仿真-真实)引擎。该引擎将真实任务转化为可控仿真环境,使机器人无需真实训练数据即可学会复杂操作,并通过仿真预测策略在现实中的成败。R2S2R 旨在以可扩展的仿真数据闭环,突破机器人规模化部署中数据采集昂贵、硬件迭代缓慢的瓶颈。
NVIDIA Jetson 平台为边缘 AI 和机器人提供紧凑型开发套件,可放入手提包中。其中 Jetson Orin Nano Super 具备 67 TOPS 的 AI 性能,支持运行 Mistral 等开源模型,所有推理均在本地 GPU 加速完成,无需云端或 API 密钥。
部署物理 AI 取决于模型能力与工程系统容量两个变量,而行业过度投入前者,后者仍停留在十年前的水平。模型质量提升 20% 仍需数月验证周期,工程系统而非模型决定了部署节奏。未来拥有相同前沿模型的两家公司,结果差异将取决于工程系统吸收模型能力的速度,而数字 AI 的智能体能力无法直接迁移到物理 AI 领域。
Anthropic 与 Andon Labs 合作推出 Drone-Bench,用于测试 AI 模型自主操控四旋翼无人机在室内环境中定位并追踪指定人员的能力。该基准将任务分解为 3D 地图重建、定位、导航、目标检测与跟随五个子任务,并通过软件复现实现快速评估。实验表明,该任务链的难度足以区分不同智能水平的模型,并揭示 AI 在物理世界操控能力上的进步轨迹。
推荐理由:Anthropic首次公开AI端到端控制无人机执行监视任务,Fable 5仅因3D重建瑕疵未能全通。六个月内模型一致性突飞猛进,安全压力比技术潜力更紧迫。
Black Forest Labs 发布 FLUX 3 多模态基础模型,联合训练图像、视频与音频,其中视频预测占总计算成本超 95%,并与 mimic 合作推出基于 FLUX 3 骨干的视频动作模型 FLUX-mimic。
推荐理由:原文解释了同一骨干为何能同时支撑内容生成与机器人控制,并给出真实产线部署和延迟数字。
a16z 宣布投资 Travis Kalanick 的“新”公司 Atoms,其合伙人将加入董事会。Atoms 已秘密运营 8 年,旨在通过专用机器人实现物理世界数字化,目前拥有 Atoms Food、Atoms Mining 和 Atoms Transport 三个业务,均面向万亿美元级产业。
NVIDIA 宣布开源 Medical Physics Simulation 框架,这是 Isaac for Healthcare 中首个 GPU 加速的医疗物理仿真能力。该框架可并行运行 8,192 个机器人训练环境,将训练时间从超过 5 小时缩短至不到 2 分钟。CMR Surgical、Johnson & Johnson MedTech 等机构已在使用该框架。
推荐理由:首个 GPU 加速的开源医疗物理仿真框架,能把数千个训练环境并行跑,把训练从五小时压到两分钟,做手术机器人的团队可以直接拿来用,但对通用 AI 从业者影响不大。
Applied Intuition 今日发布 Dana,一个用于开发物理 AI 应用的智能体平台。公司从自动驾驶仿真工具起步,已为通用汽车等客户提供确定性仿真与验证方案,使自动驾驶系统无需路测即可在可重复测试中验证性能。
NVIDIA 在 SIGGRAPH 2026 主题演讲中发布 Cosmos 3 Edge,一个 4B 参数的开放世界模型,可在设备端实时运行。同时推出 Cosmos-Dreams 闭环模拟器,能在单张 RTX PRO 6000 GPU 上从单帧生成完整世界。
NVIDIA 发布基于 Thor 架构的 Jetson T3000 与 T2000 模块。T3000 在紧凑尺寸下提供 865 FP4 teraflops 算力,功耗与体积约为 T5000 的一半;T2000 提供 400 FP4 teraflops 算力与 16GB 内存,作为边缘 AI 入门方案。多家机器人公司已采用该平台。
Amazon 与密歇根大学提出 HydroShear,为仿真器加入路径依赖力追踪能力,可精确建模触觉剪切力,让机器人在仿真中学习接触密集型操作策略并零改动迁移到真实世界。在 Franka 机器人搭配 GelSight Mini 传感器的四项任务中,HydroShear 平均成功率达 93%,高于 TacSL 的 34% 和 FOTS 的 58% 至 61%。
Anthropic 让多个大语言模型控制多种机器人形态,包括经典控制玩具、模拟四足/人形机器人、机械臂及真实 Unitree Go2 四足机器人。模型通过不同抽象层级的接口控制机器人:从直接驱动电机扭矩,到编写控制器代码,再到用强化学习训练控制器,以及向预训练策略提供高层指令。在经典控制、运动与导航、操作三类任务中,模型表现高度依赖控制接口:直接驱动关节时大多失败,但监督预训练策略或使用简单定向工具时能完成真实导航与操作任务。最新模型在调整策略、将图像与感知理解转化为适当动作方面显著更强。
Mistral AI 发布其首个具身导航模型 Robostral Navigate,为 8B 模型,仅用单个 RGB 相机即可根据自然语言指令驱动机器人自主导航,在 R2R-CE validation unseen 上达到 76.6% 成功率,比最佳单相机方法高 9.7 个百分点,比使用深度或多相机的最佳系统高 4.5 个百分点。
推荐理由:官方发布具备完整技术细节,单 RGB 相机在 R2R-CE 上超越多传感器方案,训练方法对机器人导航团队有直接参考价值。
原文正文仅包含网站 Cookie 设置说明,未提供关于巴黎办公室的部门、规模、职能或开业时间等具体信息。
推荐理由:Runway在巴黎设立研究办公室,聚焦世界模型和物理AI,30M投资不算大,但选在AI人才密集的法国是明智的长期布局,短期产品无变化。
Anthropic 发布 Project Fetch 实验第二阶段结果。在2024年8月原始实验中,配备 Claude Opus 4.1 的人类团队在操控四足机器人时显著超越无 AI 团队。新实验中,Claude Opus 4.7 无需人类协助即完成所有任务,速度比最快人类团队快约20倍,比无 Claude 团队快37倍以上,编码量减少近10倍。模型在传感器连接、路径规划等环节表现出色,但在精确移动沙滩球等闭环控制任务上仍存在困难。这些进展源于通用模型规模化,而非针对机器人领域的专项优化。
推荐理由:Anthropic 用 Claude Opus 4.7 自主操作机器狗,比当初的人类志愿者快 18-37 倍,代码量却少了十倍。这让「语言模型上手物理工具」从假想变成了可视的进度条,做具身智能和 agent 的人都该看一眼。
Qwen-RobotManip 是通义千问基于 Qwen-VL 的视觉-语言-动作(VLA)基础模型,引入覆盖表示、运动和行为三维度的统一对齐框架。仅使用开源机器人数据集和人演示视频,构建约 38,100 小时预训练语料,涵盖 15 种机器人形态。在 LIBERO-Plus 达 91.4%,RoboTwin-C2R Hard 达 69.4%,RoboCasa365 Composite-Unseen 达 14.9%,EBench 达 45.6%,RoboTwin-IF 达 72.0%,并在 RoboChallenge Table30 v1 generalist track 夺冠。模型采用 80 维状态-动作表示、人-机器人数据合成管道(1,933 小时第一人称视频转 24,808 小时数据)及上下文策略适配。
推荐理由:Qwen 这次发布的机器人模型,用统一对齐框架把跨实体数据规模化训练跑通了,OOD 泛化大幅领先,做具身智能的值得认真看一下。
Qwen-RobotWorld以语言为统一动作接口,采用双流Multimodal Diffusion Transformer(MMDiT)架构,将Qwen2.5-VL作为动作编码器。在4个基准测试中取得顶尖成绩,统一20余种机器人形态,基于860万跨场景训练对和1300多项操作技能。语言接口标准化500多种动作类别,支持操作、自动驾驶、室内导航的联合训练。还支持Scene2Robot人类到机器人转移及2–4路多视角几何一致视频生成。
推荐理由:具身智能的世界模型长期受限于单一形态,Qwen-RobotWorld用语言统一动作接口,把操作、驾驶、导航合训,多视角几何一致性和人类演示迁移是过去一年最扎实的落地信号,做机器人的别错过。
Qwen 发布三款基础模型——Qwen-RobotNav、Qwen-RobotManip 和 Qwen-RobotWorld。Nav 通过可控观测协议统一指令跟随、点/物体目标导航、目标追踪和自动驾驶五类任务,在 VLN-CE RxR 上达 76.5% SR,HM3Dv2 物体目标导航(仅 RGB)75.6% SR,EVT-Bench 追踪率 90.0%,NAVSIM 91.4 PDMS。Manip 利用规范状态-动作空间对超 38,100 小时异构开源机器人数据进行跨本体训练。World 通过自然语言动作接口协同训练 20 余种本体,预测操控、驾驶和导航的物理未来。三者共同将通用智能转化为物理行动。
推荐理由:Qwen把导航、操作和世界模型打包成机器人基础套件,用统一语言接口串起来,这是具身智能从单点突破走向系统化的信号,虽然离真实世界还有距离,但方向很清晰。
Qwen 发布 Qwen-RobotNav,基于 Qwen3-VL 在 15.6M 样本上训练,统一了视觉语言导航、目标导航、目标跟踪、自动驾驶和具身问答五个领域,无需修改架构即可在推理时切换任务模式和观察参数。模型在多项基准取得 SOTA:VLN-CE RxR 成功率 76.5%,HM3Dv2 目标导航 75.6%(仅 RGB),EVT-Bench 跟踪率 90.0%,NAVSIM PDMS 91.4,以及三项 EQA 新标杆。模型暴露四个可调轴(视觉 token 预算、时间衰减、相机权重、帧采样模式)。作为智能体系统的一部分,上层规划器 Qwen3.7-Plus 在 EXPRESS-Bench 上提升 15.4%,导航步数减少 77%。模型已零样本部署在 Unitree Go2 四足机器人上,无需环境微调。
Google DeepMind 加速器从欧洲选出15家机器人初创公司,提供为期3个月的密集指导和AI技术整合支持,帮助公司将AI融入核心产品。
通义千问推出通用视觉-语言-动作模型Qwen-VLA,基于Qwen多模态骨干,将视觉感知、语言理解与空间推理扩展至连续动作生成和轨迹预测。训练分四阶段:文本到动作预训练(T2A)、持续预训练(CPT)、监督微调(SFT)和强化学习(RL)。在LIBERO上达97.9%,Simpler-WidowX达73.7%,RoboTwin-Easy/Hard达86.1%/87.2%,匹配或超越专精模型。数据涵盖超10,000小时公共机器人轨迹、1,000+小时内部真实轨迹及800万+合成仿真轨迹。
推荐理由:Qwen-VLA 把机器人操作、导航和跨实体控制统一进一个模型,在多个基准上打平甚至超越专用模型,这是通用具身智能的一个重要信号,但离实际可用还有距离。
Mistral 将 Emmi AI 并入后推出 physics AI,一类从求解器输出中学习、直接由几何与边界条件预测物理场的模型,单次前向传播即可在单块 GPU 上以秒级输出完整物理场。它面向设计迭代而非替代第一性原理求解器,强调几何与参数泛化,一个模型服务整个设计族,合作方包括 ASML、Airbus、Safran 和 Siemens Energy。
上海人工智能实验室联合清华、北航提出的 OVO-S-Bench 被 EMNLP 2026 接收,该基准含 348 段视频、1,680 道人工标注题,评测模型仅能看到查询时刻之前的视频前缀。
谷歌宣布向全球的 Google AI Ultra 订阅者开放新的访问权限,并推出一项基于 Street View 数据驱动的全新功能。该功能能够模拟真实世界的地点与场景,标志着 AI 在结合地理信息与沉浸式体验方面迈出新步伐,为用户带来更具现实感的交互与探索可能性。
研究提出了一种通过长时运动嵌入来高效生成运动学的方法,直接对从追踪器模型获取的大规模轨迹中学习到的嵌入进行操作,将场景动态建模效率提升了数个数量级。该方法能够根据文本提示或空间戳指定的目标,高效生成长而真实的运动序列,避免了传统全视频合成在探索多种可能未来时效率低下的问题。
Seed3D 2.0正式发布,这是一个在几何精度与材质质量上显著提升的新一代3D生成大模型。它采用两阶段DiT策略优化几何生成,并通过统一PBR模型增强纹理的真实感与稳定性。评测显示,其在两项核心指标上均达到SOTA,人类打分员在纹理任务中对它的偏好率超过69%。此外,模型拓展了下游可用性,支持部件级生成与场景组合,为具身智能和工业制造提供生产级3D内容。
字节 Seed 正式发布 3D 生成大模型 Seed3D 2.0,在几何生成、纹理材质生成两项核心指标对比中均取得 SOTA 结果。模型采用 Coarse-to-Fine 两阶段 DiT 提升几何精度,统一 PBR 生成架构并引入 MoE 与 VLM 先验,还支持部件级生成、关节化建模与场景组合,输出可兼容 Isaac Sim 等仿真引擎;技术报告已公开,API 已上线火山引擎。
推荐理由:官方博客给出两阶段 DiT、统一 PBR 等架构细节与人类盲评结果,读者可了解 3D 生成走向生产可用的具体路径。
伯克利 AI 研究团队提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索,并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的“状态-输入”梯度。该方法针对长时程规划中计算图病态、非贪心结构导致局部极小值等问题,使基于梯度的规划更稳健。
BeingBeyond 提出 BeTTER 基准,通过空间布局改变、原语重组、对抗性物体扰动和时间外推四类因果干预,发现 π0.5、GR00T-N1.6、Being-H0.5 等 VLA 模型在干预下表现崩溃,依赖轨迹记忆而非真实语义推理。
Gemini Robotics-ER 1.6 正式发布,通过增强具身推理能力为真实世界机器人任务提供底层支持。该版本重点升级空间推理与多视角理解功能,使自主机器人能够更精准地解析三维环境、理解物体间空间关系,并在复杂场景中实现高效决策与操作执行,显著提升机器人在物理世界中的感知与交互性能。
推荐理由:Gemini Robotics-ER 1.6 在机器人推理上迈了一大步,仪器读取和多视角成功检测是真需求,尤其是波士顿动力集成后,做具身智能的团队值得第一时间测试。
BeingBeyond 发表 VLA 扩展系统性研究,指出 EEF-Relative 动作表示对跨本体迁移至关重要(冻结 VLM 下 LIBERO 平均成功率 75.1%,+8.2%),而朴素混池异构机器人数据常导致负迁移,如 RoboCasa 上 D2 降至 48.8% 低于 D1 的 54.7%。
Runway率先在NVIDIA Rubin平台部署视频生成模型Gen-4.5与世界模型GWM-1。Gen-4.5在一天内从Hopper迁移至Vera Rubin NVL72,展现平台后向兼容性与生产就绪能力。Rubin单GPU提供50 PF推理算力,可加速实时长视频生成。GWM-1作为Runway首个通用世界模型家族,支持物理感知机器人训练、可探索虚拟世界及交互式化身,推动AI从文本理解向物理世界模拟演进。
智源 FlagOpen 开源 Action-Sketcher,被 CVPR 2026 接收,通过 See-Think-Sketch-Act 循环将高层指令分解为子任务和由点、框、箭头组成的 Visual Sketch,再引导底层策略生成动作序列。
GR-RL 框架通过多阶段训练将通用 VLA 策略转化为长程灵巧操作专家。针对精细任务中人类演示的次优性,利用离线 RL 的 Q 值过滤有效轨迹,结合形态对称增强与在线 RL 对齐部署行为。在自主系鞋带任务中实现 83.3% 成功率,首次完成需毫米级精度和长程推理的复杂操作。
字节跳动 Seed 团队发布 GR-RL,采用离线数据筛选结合在线真机微调的强化学习框架,突破 VLA 模型长时程精细操作瓶颈,首次实现机器人连续穿鞋带。相比前作 GR-3,成功率从 45.7% 提升至 83.3%,减少近 70% 失败。方案通过 Critic 价值判别器剔除次优演示数据,并在隐空间探索优化,解决模仿学习的数据次优性与执行错位问题,模型涌现出自纠错与场景调整能力。
智源 FlagOpen 发布开源具身数据框架 CoRobot 1.0,覆盖数据采集、转换、处理、检索、下载与训练全流程。配套 RoboCOIN 多机器人双臂数据集覆盖 16 种机器人本体、200k+ 轨迹、1,000+ 任务;RoboCOIN-DataManager、DataCollect 已开源,DataTrain、DataConvert、DataForge 即将推出。
Seed3D 1.0 基础模型支持从单张图像直接生成具备准确几何、对齐纹理与真实物理材质的 3D 资产,可直接集成至物理引擎用于机器人操作与仿真训练,无需复杂配置。该系统解决了现有世界仿真器在内容多样性与物理准确性之间的权衡难题,并支持将物体组合为连贯场景,实现可扩展的仿真就绪内容创作。
智源 FlagOpen 发布开源项目 RoboBrain-X0,一个面向 token 推理与动作生成的跨本体视觉-语言-动作模型。模型基于 RoboBrain 2.0 和 OmniSAT 动作分词器,用统一动作词表和 GRVQ 实现对 AgileX、R1-Lite、Franka 等异构本体的零样本泛化与任务分解。
PEVA 模型实现基于全身动作的第一人称视频预测。该模型接收历史视频帧和描述 3D 姿态变化的动作指令,生成下一帧画面,支持原子动作合成、反事实场景模拟及长视频生成。针对具身智能体设计,模型处理 48+ 自由度的高维人体控制,解决第一人称视角下身体不可见、感知滞后于动作等挑战,为机器人规划与控制提供世界模型基础。