跳到正文
7月30日周四
7月29日周三
  1. a16z:News61

    李飞飞团队发布 R2S2R 引擎:让机器人在仿真中零数据学会复杂操作

    李飞飞与 World Labs 于 7 月 21 日宣布收购机器人仿真公司 SceniX,并发布其 R2S2R(真实-仿真-真实)引擎。该引擎将真实任务转化为可控仿真环境,使机器人无需真实训练数据即可学会复杂操作,并通过仿真预测策略在现实中的成败。R2S2R 旨在以可扩展的仿真数据闭环,突破机器人规模化部署中数据采集昂贵、硬件迭代缓慢的瓶颈。

7月28日周二
  1. a16z:News58

    物理 AI 的下一个护城河不是更聪明的模型,而是更智能的工程系统

    部署物理 AI 取决于模型能力与工程系统容量两个变量,而行业过度投入前者,后者仍停留在十年前的水平。模型质量提升 20% 仍需数月验证周期,工程系统而非模型决定了部署节奏。未来拥有相同前沿模型的两家公司,结果差异将取决于工程系统吸收模型能力的速度,而数字 AI 的智能体能力无法直接迁移到物理 AI 领域。

7月24日周五
  1. Anthropic:Research73

    Anthropic 联合 Andon Labs 发布 Drone-Bench,评估 AI 模型自主操控无人机执行定位追踪任务的能力

    Anthropic 与 Andon Labs 合作推出 Drone-Bench,用于测试 AI 模型自主操控四旋翼无人机在室内环境中定位并追踪指定人员的能力。该基准将任务分解为 3D 地图重建、定位、导航、目标检测与跟随五个子任务,并通过软件复现实现快速评估。实验表明,该任务链的难度足以区分不同智能水平的模型,并揭示 AI 在物理世界操控能力上的进步轨迹。

    推荐理由:Anthropic首次公开AI端到端控制无人机执行监视任务,Fable 5仅因3D重建瑕疵未能全通。六个月内模型一致性突飞猛进,安全压力比技术潜力更紧迫。

  2. Black Forest Labs:Blog67

    Black Forest Labs 发布 FLUX 3 多模态基础模型,与 mimic 合作推出 FLUX-mimic 机器人模型

    Black Forest Labs 发布 FLUX 3 多模态基础模型,联合训练图像、视频与音频,其中视频预测占总计算成本超 95%,并与 mimic 合作推出基于 FLUX 3 骨干的视频动作模型 FLUX-mimic。

    推荐理由:原文解释了同一骨干为何能同时支撑内容生成与机器人控制,并给出真实产线部署和延迟数字。

7月23日周四
7月22日周三
  1. NVIDIA Blog60

    NVIDIA 开源首个 GPU 加速医疗物理仿真框架

    NVIDIA 宣布开源 Medical Physics Simulation 框架,这是 Isaac for Healthcare 中首个 GPU 加速的医疗物理仿真能力。该框架可并行运行 8,192 个机器人训练环境,将训练时间从超过 5 小时缩短至不到 2 分钟。CMR Surgical、Johnson & Johnson MedTech 等机构已在使用该框架。

    推荐理由:首个 GPU 加速的开源医疗物理仿真框架,能把数千个训练环境并行跑,把训练从五小时压到两分钟,做手术机器人的团队可以直接拿来用,但对通用 AI 从业者影响不大。

7月21日周二
7月20日周一
7月16日周四
7月11日周六
  1. Amazon Science48

    Amazon 与密歇根大学推出 HydroShear,让机器人获得触觉

    Amazon 与密歇根大学提出 HydroShear,为仿真器加入路径依赖力追踪能力,可精确建模触觉剪切力,让机器人在仿真中学习接触密集型操作策略并零改动迁移到真实世界。在 Franka 机器人搭配 GelSight Mini 传感器的四项任务中,HydroShear 平均成功率达 93%,高于 TacSL 的 34% 和 FOTS 的 58% 至 61%。

7月9日周四
  1. Anthropic:Research56

    Anthropic 研究:大语言模型控制多种机器人形态

    Anthropic 让多个大语言模型控制多种机器人形态,包括经典控制玩具、模拟四足/人形机器人、机械臂及真实 Unitree Go2 四足机器人。模型通过不同抽象层级的接口控制机器人:从直接驱动电机扭矩,到编写控制器代码,再到用强化学习训练控制器,以及向预训练策略提供高层指令。在经典控制、运动与导航、操作三类任务中,模型表现高度依赖控制接口:直接驱动关节时大多失败,但监督预训练策略或使用简单定向工具时能完成真实导航与操作任务。最新模型在调整策略、将图像与感知理解转化为适当动作方面显著更强。

7月8日周三
  1. Mistral AI:News62

    Mistral AI 发布 Robostral Navigate 具身导航模型

    Mistral AI 发布其首个具身导航模型 Robostral Navigate,为 8B 模型,仅用单个 RGB 相机即可根据自然语言指令驱动机器人自主导航,在 R2R-CE validation unseen 上达到 76.6% 成功率,比最佳单相机方法高 9.7 个百分点,比使用深度或多相机的最佳系统高 4.5 个百分点。

    推荐理由:官方发布具备完整技术细节,单 RGB 相机在 R2R-CE 上超越多传感器方案,训练方法对机器人导航团队有直接参考价值。

7月6日周一
  1. Runway:News65

    Runway 宣布设立巴黎办公室

    原文正文仅包含网站 Cookie 设置说明,未提供关于巴黎办公室的部门、规模、职能或开业时间等具体信息。

    推荐理由:Runway在巴黎设立研究办公室,聚焦世界模型和物理AI,30M投资不算大,但选在AI人才密集的法国是明智的长期布局,短期产品无变化。

6月19日周五
  1. Anthropic:Research77

    Anthropic Project Fetch 第二阶段:Claude Opus 4.7 自主完成任务,速度比人类团队快约20倍

    Anthropic 发布 Project Fetch 实验第二阶段结果。在2024年8月原始实验中,配备 Claude Opus 4.1 的人类团队在操控四足机器人时显著超越无 AI 团队。新实验中,Claude Opus 4.7 无需人类协助即完成所有任务,速度比最快人类团队快约20倍,比无 Claude 团队快37倍以上,编码量减少近10倍。模型在传感器连接、路径规划等环节表现出色,但在精确移动沙滩球等闭环控制任务上仍存在困难。这些进展源于通用模型规模化,而非针对机器人领域的专项优化。

    推荐理由:Anthropic 用 Claude Opus 4.7 自主操作机器狗,比当初的人类志愿者快 18-37 倍,代码量却少了十倍。这让「语言模型上手物理工具」从假想变成了可视的进度条,做具身智能和 agent 的人都该看一眼。

6月16日周二
  1. Qwen:Blog Retrieval72

    Qwen-RobotManip:对齐解锁机器人操作基础模型的规模化能力

    Qwen-RobotManip 是通义千问基于 Qwen-VL 的视觉-语言-动作(VLA)基础模型,引入覆盖表示、运动和行为三维度的统一对齐框架。仅使用开源机器人数据集和人演示视频,构建约 38,100 小时预训练语料,涵盖 15 种机器人形态。在 LIBERO-Plus 达 91.4%,RoboTwin-C2R Hard 达 69.4%,RoboCasa365 Composite-Unseen 达 14.9%,EBench 达 45.6%,RoboTwin-IF 达 72.0%,并在 RoboChallenge Table30 v1 generalist track 夺冠。模型采用 80 维状态-动作表示、人-机器人数据合成管道(1,933 小时第一人称视频转 24,808 小时数据)及上下文策略适配。

    推荐理由:Qwen 这次发布的机器人模型,用统一对齐框架把跨实体数据规模化训练跑通了,OOD 泛化大幅领先,做具身智能的值得认真看一下。

  2. Qwen:Blog Retrieval72

    Qwen-RobotWorld:具身智能体的无界世界

    Qwen-RobotWorld以语言为统一动作接口,采用双流Multimodal Diffusion Transformer(MMDiT)架构,将Qwen2.5-VL作为动作编码器。在4个基准测试中取得顶尖成绩,统一20余种机器人形态,基于860万跨场景训练对和1300多项操作技能。语言接口标准化500多种动作类别,支持操作、自动驾驶、室内导航的联合训练。还支持Scene2Robot人类到机器人转移及2–4路多视角几何一致视频生成。

    推荐理由:具身智能的世界模型长期受限于单一形态,Qwen-RobotWorld用语言统一动作接口,把操作、驾驶、导航合训,多视角几何一致性和人类演示迁移是过去一年最扎实的落地信号,做机器人的别错过。

  3. Qwen:Blog Retrieval73

    Qwen-Robot Suite:面向物理世界智能的基础模型套件

    Qwen 发布三款基础模型——Qwen-RobotNav、Qwen-RobotManip 和 Qwen-RobotWorld。Nav 通过可控观测协议统一指令跟随、点/物体目标导航、目标追踪和自动驾驶五类任务,在 VLN-CE RxR 上达 76.5% SR,HM3Dv2 物体目标导航(仅 RGB)75.6% SR,EVT-Bench 追踪率 90.0%,NAVSIM 91.4 PDMS。Manip 利用规范状态-动作空间对超 38,100 小时异构开源机器人数据进行跨本体训练。World 通过自然语言动作接口协同训练 20 余种本体,预测操控、驾驶和导航的物理未来。三者共同将通用智能转化为物理行动。

    推荐理由:Qwen把导航、操作和世界模型打包成机器人基础套件,用统一语言接口串起来,这是具身智能从单点突破走向系统化的信号,虽然离真实世界还有距离,但方向很清晰。

  4. Qwen:Blog Retrieval70

    Qwen-RobotNav:面向智能体导航系统的可扩展导航模型

    Qwen 发布 Qwen-RobotNav,基于 Qwen3-VL 在 15.6M 样本上训练,统一了视觉语言导航、目标导航、目标跟踪、自动驾驶和具身问答五个领域,无需修改架构即可在推理时切换任务模式和观察参数。模型在多项基准取得 SOTA:VLN-CE RxR 成功率 76.5%,HM3Dv2 目标导航 75.6%(仅 RGB),EVT-Bench 跟踪率 90.0%,NAVSIM PDMS 91.4,以及三项 EQA 新标杆。模型暴露四个可调轴(视觉 token 预算、时间衰减、相机权重、帧采样模式)。作为智能体系统的一部分,上层规划器 Qwen3.7-Plus 在 EXPRESS-Bench 上提升 15.4%,导航步数减少 77%。模型已零样本部署在 Unitree Go2 四足机器人上,无需环境微调。

6月9日周二
5月29日周五
  1. Qwen:Blog Retrieval66

    Qwen-VLA:从理解世界到付诸行动

    通义千问推出通用视觉-语言-动作模型Qwen-VLA,基于Qwen多模态骨干,将视觉感知、语言理解与空间推理扩展至连续动作生成和轨迹预测。训练分四阶段:文本到动作预训练(T2A)、持续预训练(CPT)、监督微调(SFT)和强化学习(RL)。在LIBERO上达97.9%,Simpler-WidowX达73.7%,RoboTwin-Easy/Hard达86.1%/87.2%,匹配或超越专精模型。数据涵盖超10,000小时公共机器人轨迹、1,000+小时内部真实轨迹及800万+合成仿真轨迹。

    推荐理由:Qwen-VLA 把机器人操作、导航和跨实体控制统一进一个模型,在多个基准上打平甚至超越专用模型,这是通用具身智能的一个重要信号,但离实际可用还有距离。

5月28日周四
  1. Mistral AI:News49

    Mistral 推出 physics AI:面向工程加速的物理系统预测模型

    Mistral 将 Emmi AI 并入后推出 physics AI,一类从求解器输出中学习、直接由几何与边界条件预测物理场的模型,单次前向传播即可在单块 GPU 上以秒级输出完整物理场。它面向设计迭代而非替代第一性原理求解器,强调几何与参数泛化,一个模型服务整个设计族,合作方包括 ASML、Airbus、Safran 和 Siemens Energy。

5月20日周三
4月24日周五
  1. Apple Machine Learning Research48

    Learning Long-Term Motion Embeddings for Efficient Kinematics Generation

    研究提出了一种通过长时运动嵌入来高效生成运动学的方法,直接对从追踪器模型获取的大规模轨迹中学习到的嵌入进行操作,将场景动态建模效率提升了数个数量级。该方法能够根据文本提示或空间戳指定的目标,高效生成长而真实的运动序列,避免了传统全视频合成在探索多种可能未来时效率低下的问题。

4月23日周四
  1. 字节 Seed:Research Feed81

    Seed3D 2.0发布,更高精度、更强可用性

    Seed3D 2.0正式发布,这是一个在几何精度与材质质量上显著提升的新一代3D生成大模型。它采用两阶段DiT策略优化几何生成,并通过统一PBR模型增强纹理的真实感与稳定性。评测显示,其在两项核心指标上均达到SOTA,人类打分员在纹理任务中对它的偏好率超过69%。此外,模型拓展了下游可用性,支持部件级生成与场景组合,为具身智能和工业制造提供生产级3D内容。

  2. 字节 Seed:Research Feed61

    字节 Seed 发布 Seed3D 2.0,几何与 PBR 材质生成达 SOTA

    字节 Seed 正式发布 3D 生成大模型 Seed3D 2.0,在几何生成、纹理材质生成两项核心指标对比中均取得 SOTA 结果。模型采用 Coarse-to-Fine 两阶段 DiT 提升几何精度,统一 PBR 生成架构并引入 MoE 与 VLM 先验,还支持部件级生成、关节化建模与场景组合,输出可兼容 Isaac Sim 等仿真引擎;技术报告已公开,API 已上线火山引擎。

    推荐理由:官方博客给出两阶段 DiT、统一 PBR 等架构细节与人类盲评结果,读者可了解 3D 生成走向生产可用的具体路径。

4月20日周一
  1. BAIR:Berkeley AI Research Blog46

    GRASP:面向世界模型长时程规划的梯度规划器

    伯克利 AI 研究团队提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索,并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的“状态-输入”梯度。该方法针对长时程规划中计算图病态、非贪心结构导致局部极小值等问题,使基于梯度的规划更稳健。

4月14日周二
  1. Google DeepMind:Blog68

    Gemini Robotics-ER 1.6:通过增强具身推理赋能真实世界机器人任务

    Gemini Robotics-ER 1.6 正式发布,通过增强具身推理能力为真实世界机器人任务提供底层支持。该版本重点升级空间推理与多视角理解功能,使自主机器人能够更精准地解析三维环境、理解物体间空间关系,并在复杂场景中实现高效决策与操作执行,显著提升机器人在物理世界中的感知与交互性能。

    推荐理由:Gemini Robotics-ER 1.6 在机器人推理上迈了一大步,仪器读取和多视角成功检测是真需求,尤其是波士顿动力集成后,做具身智能的团队值得第一时间测试。

2月9日周一
1月5日周一
  1. Runway:News

    Runway基于NVIDIA Rubin平台加速视频生成与世界模型

    Runway率先在NVIDIA Rubin平台部署视频生成模型Gen-4.5与世界模型GWM-1。Gen-4.5在一天内从Hopper迁移至Vera Rubin NVL72,展现平台后向兼容性与生产就绪能力。Rubin单GPU提供50 PF推理算力,可加速实时长视频生成。GWM-1作为Runway首个通用世界模型家族,支持物理感知机器人训练、可探索虚拟世界及交互式化身,推动AI从文本理解向物理世界模拟演进。

1月4日周日
2025年12月2日周二
  1. 字节 Seed:Research Papers

    GR-RL:实现灵巧精准的长程机器人操作

    GR-RL 框架通过多阶段训练将通用 VLA 策略转化为长程灵巧操作专家。针对精细任务中人类演示的次优性,利用离线 RL 的 Q 值过滤有效轨迹,结合形态对称增强与在线 RL 对齐部署行为。在自主系鞋带任务中实现 83.3% 成功率,首次完成需毫米级精度和长程推理的复杂操作。

  2. 字节 Seed:Research Feed

    GR-RL 发布:突破 VLA 精细操作瓶颈,首次实现真机强化学习穿鞋带

    字节跳动 Seed 团队发布 GR-RL,采用离线数据筛选结合在线真机微调的强化学习框架,突破 VLA 模型长时程精细操作瓶颈,首次实现机器人连续穿鞋带。相比前作 GR-3,成功率从 45.7% 提升至 83.3%,减少近 70% 失败。方案通过 Critic 价值判别器剔除次优演示数据,并在隐空间探索优化,解决模仿学习的数据次优性与执行错位问题,模型涌现出自纠错与场景调整能力。

2025年11月18日周二
  1. 智源 FlagOpen:原创开源项目55

    智源 FlagOpen 开源 CoRobot 1.0 具身数据框架及 RoboCOIN 多机器人双臂数据集

    智源 FlagOpen 发布开源具身数据框架 CoRobot 1.0,覆盖数据采集、转换、处理、检索、下载与训练全流程。配套 RoboCOIN 多机器人双臂数据集覆盖 16 种机器人本体、200k+ 轨迹、1,000+ 任务;RoboCOIN-DataManager、DataCollect 已开源,DataTrain、DataConvert、DataForge 即将推出。

2025年10月22日周三
  1. 字节 Seed:Research Papers

    Seed3D 1.0:从图像生成高保真、可直接仿真的 3D 资产

    Seed3D 1.0 基础模型支持从单张图像直接生成具备准确几何、对齐纹理与真实物理材质的 3D 资产,可直接集成至物理引擎用于机器人操作与仿真训练,无需复杂配置。该系统解决了现有世界仿真器在内容多样性与物理准确性之间的权衡难题,并支持将物体组合为连贯场景,实现可扩展的仿真就绪内容创作。

2025年9月28日周日
2025年7月1日周二
  1. BAIR:Berkeley AI Research Blog

    基于全身条件的第一人称视角视频预测

    PEVA 模型实现基于全身动作的第一人称视频预测。该模型接收历史视频帧和描述 3D 姿态变化的动作指令,生成下一帧画面,支持原子动作合成、反事实场景模拟及长视频生成。针对具身智能体设计,模型处理 48+ 自由度的高维人体控制,解决第一人称视角下身体不可见、感知滞后于动作等挑战,为机器人规划与控制提供世界模型基础。