跳到正文
11月11日周三
  1. The Decoder63

    Nvidia 发布研究报告介绍 GR00T 2 世界动作模型,用人类视频训练机器人

    Nvidia 发布 GR00T 2 研究报告,将其定位为世界动作模型(WAM),通过扩散预测未来画面,把视频中的人类动作迁移到机械臂。系统用超过一千块 GB300 芯片训练约 40 万小时头戴相机视频,机器人无需遥操作即可点火柴、切香蕉等,成功率在 10% 到 80% 之间;50 个任务仅需不到 3 分钟常规训练即可把成功率从 40% 提到 95%。

11月9日周一
11月6日周五
  1. Hugging Face Blog54

    Ai2 发布 ToyBlocks:可控机器人学习与评测的开源模拟框架

    Ai2 发布开源模拟框架 ToyBlocks,作为首个 FoundationWorld,围绕机械臂与桌面积木自动生成任务和演示数据,并配套训练与评测工具。框架在单张 GPU 上可并行生成数百个规划方案,最高达 24 倍实时性能,首批发布 85,336 条长程演示、约 1,600 小时数据和 1.44 亿帧。

10月23日周五
  1. MIT News45

    MIT CSAIL 推出 X-Hinges 软件让日常物品变身可感知的交互设备

    MIT CSAIL 与天津大学研究人员推出 X-Hinges 设计软件,可将日常物品 3D 打印为能感知并响应人类动作的自感知设备。该工具自动在设计中嵌入两种不同材料,分别用于传感器和导线,避免信号干扰,并支持最多三个运动轴(压缩、上下、左右),突破了以往方法只能单轴运动的限制。

10月17日周六
  1. Google Research64

    Google Research 发布 VERID 框架,推进 AI 智能体驱动的自主湿实验室

    Google Research 介绍三项研究,构建 AI 智能体与真实湿实验室之间的闭环:VERID 框架以实验室工作单元的语义数字孪生提供 3D 状态跟踪、虚拟试运行、硬件安全检查和视频动作日志,基于开源 PyLabRobot。

    推荐理由:Google 展示了 VERID 数字孪生框架和闭环实验结果,读者可以看到 AI 智能体进入湿实验室的具体路径和关键数字。

10月14日周三
  1. Artificial Analysis 完整文章60

    Artificial Analysis 发布 AA-Robotics v0.1 基准,测试语言模型控制机械臂

    Artificial Analysis 发布 AA-Robotics v0.1 研究预览基准,让前沿大模型在 coding agent 框架中直接控制一台 6 轴机械臂完成 8 项桌面任务。

    推荐理由:原文公布了完整分任务得分、用时与成本数据,可据此比较各前沿模型在真实机械臂任务上的表现差距。

9月3日周四
  1. Timothy B. Lee:Understanding AI45

    Google 如何让 LLM 控制机器人并掀起机器人浪潮

    Google 在 2023 年 7 月发布 RT-2,通过训练多模态 LLM 直接生成机器人动作,开启机器人的“GPT-3 时刻”。RT-2 参数规模达数十亿,远超此前 35M 参数的 RT-1,展现出对物体、场景和指令的泛化能力,Google 将其命名为视觉-语言-动作(VLA)模型,该方法和术语迅速成为行业标准。

7月11日周六
  1. Amazon Science51

    Amazon 与密歇根大学提出 HydroShear 触觉模拟方法,机器人零调参迁移达 93% 成功率

    Amazon 与密歇根大学提出 HydroShear,通过路径相关力追踪改进水弹性接触模型,让模拟器准确建模软体指尖的触觉剪切力,支持 GPU 并行的大规模强化学习训练。策略完全在仿真中训练后直接部署到配备 GelSight Mini 传感器的真实 Franka 机器人,四项接触密集任务平均成功率 93%,显著高于基线 TacSL 的 34% 和 FOTS 的 58% 至 61%。

6月10日周三
4月20日周一
  1. Berkeley AI Research44

    GRASP:如何在长时序世界模型中实现基于梯度的规划

    Berkeley AI Research 发文介绍 GRASP,一种面向学习型世界模型的基于梯度规划器,使长时序规划变得可行。该方法通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接加入随机性以探索、重塑梯度避免经由高维视觉模型的不稳定“状态-输入”梯度。这项工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 等人合作完成。