news 2026/4/3 4:26:44

【论文自动阅读】Unified Embodied VLM Reasoning with Robotic Action via Autoregressive Discretized Pre-traini

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【论文自动阅读】Unified Embodied VLM Reasoning with Robotic Action via Autoregressive Discretized Pre-traini

快速了解部分

基础信息(英文):

  1. 题目: Unified Embodied VLM Reasoning with Robotic Action via Autoregressive Discretized Pre-training
  2. 时间: 2026.1
  3. 机构: AgiBot Research, AgiBot, Shanghai Innovation Institute
  4. 3个英文关键词: Embodied Reasoning, Vision-Language-Action (VLA), Flow Matching

1句话通俗总结本文干了什么事情

本文提出了一个名为GenieReasoner的机器人系统,通过一种新的“动作分词器”将复杂的连续动作转化为离散的“思维令牌”,让机器人既能像大模型一样进行深度思考和推理,又能精准地执行具体的物理动作。

研究痛点:现有研究不足 / 要解决的具体问题

现有的机器人视觉-语言-动作(VLA)模型面临一个两难困境:要么擅长推理但动作粗糙(离散动作模型),要么动作精准但缺乏深度思考能力(连续动作模型)。这两种能力很难在同一个模型中兼得。

核心方法:关键技术、模型或研究设计(简要)

提出了GenieReasoner系统,核心在于FACT(基于流匹配的动作分词器)。它将连续的机器人动作转化为离散的令牌序列,使得模型可以在离散空间进行推理规划,同时通过解码器还原出高精度的连续控制信号。

深入了解部分

相比前人创新在哪里

  1. 解耦评估:提出了ERIQ基准,首次将“具身推理能力”和“动作执行精度”分开评估,证明了推理能力直接影响任务成功率。
  2. 精度与推理的统一:不同于以往离散化方法(如FAST)会损失精度,FACT利用流匹配技术,用极短的离散令牌就能还原出高保真的连续轨迹,打破了“离散则粗糙”的限制。

解决方法/算法的通俗解释

想象一下,机器人思考时用的是“语言”(离散的词),但行动时用的是“肌肉”(连续的运动)。

  • 以前的做法:要么让机器人用“肌肉”直接思考(连续模型),但这很难处理复杂的语言逻辑;要么把动作切成一个个格子(离散模型),但这让动作变得像像素画一样粗糙。
  • 本文的做法:发明了一种“翻译器”(FACT)。机器人思考时,把复杂的动作压缩成几个简单的“动作密码”(离散令牌);执行时,再根据这几个密码,瞬间还原出流畅精准的动作(流匹配解码)。

解决方法的具体做法

  1. 设计FACT分词器
    • 编码端:使用VQ-VAE将连续动作压缩为紧凑的离散令牌(Code),保留语义。
    • 解码端:使用流匹配(Flow Matching)技术,通过求解微分方程,从离散令牌和噪声中重建出平滑、精确的连续动作轨迹。
  2. 构建GenieReasoner:将上述分词器与视觉语言模型(VLM)结合,进行三阶段训练(预训练、联合训练、后训练),实现视觉、语言、动作的统一。

基于前人的哪些方法

  1. VQ-VAE / 离散化:借鉴了将连续信号转化为离散码本的思想,但改进了量化方式。
  2. 流匹配(Flow Matching):利用了Rectified Flow等生成式模型的思想,用于动作的高保真重建。
  3. VLA架构:基于现有的视觉-语言-动作模型框架(如π0\pi_0π0等),旨在解决其推理与控制的割裂问题。

实验设置、数据、评估方式、结论

  • 数据:使用了自建的ERIQ基准(6000+问答对)和AgiBot World等机器人操作数据集。
  • 评估
    • ERIQ得分:测试模型的推理能力(空间感知、规划、错误恢复、意图理解)。
    • 真实世界任务:测试抓取、摆放等操作的成功率和语言跟随准确性。
  • 结论
    • GenieReasoner在ERIQ上的得分(82.72%)显著高于基座模型(58.64%)。
    • 在真实任务中,它既保持了离散模型优秀的语义理解(语言跟随),又达到了连续模型的高操作精度,综合表现优于π0\pi_0π0π0.5\pi_0.5π0.5π0\pi_0π0-FAST等基线。

提到的同类工作

  1. π0\pi_0π0/π0.5\pi_0.5π0.5(Google DeepMind等):典型的VLA模型,通常使用连续动作头,虽然动作精准但推理能力受限。
  2. π0\pi_0π0-FAST:一种将动作转化为离散令牌的方法,虽然利于推理,但重建精度差且解码不稳定。
  3. RoboBrain / Gemini Robotics:强调具身推理的工业级项目,通常采用分层规划,存在高层推理与低层控制的对齐问题。

和本文相关性最高的3个文献

  1. π0\pi_0π0:本文直接对比的核心VLA架构之一,代表了“连续动作控制”的主流方法。
  2. π0\pi_0π0-FAST:本文直接对比的核心VLA架构之一,代表了“离散动作量化”的现有技术(SOTA),本文的FACT旨在解决FAST的精度和稳定性问题。
  3. ERQA:现有的具身推理基准,本文的ERIQ基准是在此基础上的扩展和完善,旨在解决现有基准缺乏对错误恢复和人类意图理解覆盖的问题。

我的

  1. 能够推理,离散token+流匹配解码的VLA。
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/10 20:47:15

Linux游戏兼容性提升:ProtonPlus增强工具完全指南

Linux游戏兼容性提升:ProtonPlus增强工具完全指南 【免费下载链接】ProtonPlus A simple Wine and Proton-based compatibility tools manager 项目地址: https://gitcode.com/gh_mirrors/pr/ProtonPlus ProtonPlus是一款基于Wine和Proton的兼容性工具管理器…

作者头像 李华
网站建设 2026/3/30 16:59:42

OpenCore配置工具与Hackintosh自动EFI生成解决方案

OpenCore配置工具与Hackintosh自动EFI生成解决方案 【免费下载链接】OpCore-Simplify A tool designed to simplify the creation of OpenCore EFI 项目地址: https://gitcode.com/GitHub_Trending/op/OpCore-Simplify 在Hackintosh构建领域,OpenCore EFI配置…

作者头像 李华
网站建设 2026/3/30 3:32:18

智能电视观影新体验:广告拦截与8K画质的完美结合

智能电视观影新体验:广告拦截与8K画质的完美结合 【免费下载链接】SmartTube SmartTube - an advanced player for set-top boxes and tv running Android OS 项目地址: https://gitcode.com/GitHub_Trending/smar/SmartTube 在智能电视上观看YouTube时&…

作者头像 李华
网站建设 2026/3/25 1:26:31

ERNIE 4.5终极优化:2比特量化300B模型推理新体验

ERNIE 4.5终极优化:2比特量化300B模型推理新体验 【免费下载链接】ERNIE-4.5-300B-A47B-2Bits-TP4-Paddle 项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-300B-A47B-2Bits-TP4-Paddle 百度ERNIE 4.5系列模型推出2比特量化版本(E…

作者头像 李华
网站建设 2026/3/26 22:50:37

OpenArk:开源安全工具构建全面系统防御体系

OpenArk:开源安全工具构建全面系统防御体系 【免费下载链接】OpenArk The Next Generation of Anti-Rookit(ARK) tool for Windows. 项目地址: https://gitcode.com/GitHub_Trending/op/OpenArk OpenArk作为新一代免费开源的Windows系统安全分析工具&#xf…

作者头像 李华
网站建设 2026/3/4 13:41:27

GemPy地质建模入门指南

GemPy地质建模入门指南 【免费下载链接】gempy GemPy is an open-source, Python-based 3-D structural geological modeling software, which allows the implicit (i.e. automatic) creation of complex geological models from interface and orientation data. It also off…

作者头像 李华