机器人为何容易总“断片”?为攻克该难题,IntentVLA:首次为VLA模型引入短期视觉记忆,让机器人理解自己所处的任务阶段——在混淆操作任务上成功率提升4倍以上,并在SimplerEnv、LIBERO、RoboCasa等多个权威榜单中刷新纪录。

论文链接:https://arxiv.org/pdf/2605.14712
机器人“断片”困境行业基准测不出的执行漏洞
当前主流的VLA模型,大多采用一种“帧条件”策略:根据当前这一瞬间的摄像头画面和语言指令,直接生成下一步动作。这种做法在大多数情况下没问题——但一旦遇到“画面相似、意图不同”的场景,机器人就容易“断片”。比如下图中,机器人在执行“煎面包”这一任务中,存在两个视觉画面几乎一模一样的任务阶段,即“拿起面包准备煎”和“煎好准备放回盘子”。这个时候机器人就会出现“断片”风险,在两个动作之间反复横跳,最终任务失败。

这种现象在技术上被称为“短时程意图混淆”。它不是机器人“笨”,而是因为它缺乏对刚刚发生事情的记忆,就像一个人失忆了几秒钟,只能靠眼前画面瞎猜。然而,行业里大多数测试基准只看“最终任务是否完成”,并不专门检测这种“短期意图混淆”的问题,导致这个实际任务中经常出现的问题,被长期忽视。
让机器人拥有“记忆力” 三步终结“断片”问题
深度机智团队提出的IntentVLA 的核心思路非常简单直接:让机器人在做决策时,不只看当前画面,还要回顾最近几秒的视觉信息。这相当于给了机器人一个“短期记忆”,帮助它理解自己正处于任务的哪个阶段、当前的“短期意图”是什么。
三步解决机器人“断片”问题:
VGGT视觉编码器:记住最近发生了什么将机器人最近看到的若干帧图像压缩成一组历史证据,保留画面之间的几何关系和视角变化。
门控交叉注意力:把历史和当前信息融合起来将历史证据、当前视觉-语言上下文有机融合,形成一个紧凑的短期意图,让机器人知道当前阶段的任务。
基于DiT的流匹配:稳定地生成一连串动作基于上述意图表示,连续、平滑地输出未来若干步的动作序列。这保证了相邻两次决策之间不会互相“打架”。

整个框架是端到端训练的,不需要额外标注“意图标签”,也无需改变现有的机器人硬件,即插即用,快速实现能力升级。
多项权威榜单全面领跑 成功率提高4倍以上
研究团队在多个仿真环境上对IntentVLA进行了严格测试,包括自建的混淆专用基准AliasBench,以及行业通用的SimplerEnv、LIBERO、RoboCasa,结果全面领先。
AliasBench是团队研发的全球首个专门针对机器人短期意图混淆问题的公开测试平台,包含12个精心设计的任务,配套训练数据和评估环境,让这个长期被忽视的问题进入可评测、可优化的新阶段。在该榜单上,现有方法平均成功率仅有9.0%,而IntentVLA将这一数字提升至45.8%,相对提高了4倍以上。

在行业权威榜单SimplerEnv上,IntentVLA取得了72.9%的平均成功率不仅大幅突破了此前报告的最强平均成绩3D-Mix(68.2%),还超越了π0.5、MemoryVLA等主流VLA模型。

在长周期多阶段任务基准LIBERO-Long上,IntentVLA成功率达到97.4%,超越基准方法5.4个百分点,并再次刷新自研模型TwinBrainVLA(95.4%)取得的成绩。

在桌面操作基准RoboCasa上,IntentVLA取得了57.0%的平均任务成功率,相较于TwinBrainVLA(54.6%)、LangForce(52.6%)等团队此前研究成果,取得3-5个百分点的成绩提升。

IntentVLA有效减少了动作之间的“打架”现象。在容易混淆的时间窗口内,前后两次决策的动作差异降低了17.6%,意味着机器人的动作更加连贯、稳定,更清楚下一步该做什么。
像人类一样拥有“记忆” 迈向连贯操作的关键一步
人类之所以能完成连贯、复杂的操作,靠的不仅是“看见”,更是“记忆”,记得自己做了什么,也知道下一步该做什么。没有记忆,人也会“断片”。今天的机器人,大多仍活在“没有记忆”的当下。它们看得见,却记不住;能执行单步指令,却难以保持前后一致的意图。
IntentVLA的突破,正是让机器人像人类一样,拥有对“刚才发生了什么”的短期记忆。这一小步,可能是机器人走向真正连贯、可靠操作的一大步。这也是北京中关村学院与深度机智践行“人类学习”的技术路线上的关键一步。我们正以持续的技术创新,一步步让机器人像人类一样感知、思考、记忆、行动。
这是我们的坚持,也是具身智能的未来。
作者团队及合作单位
本文第一作者为北京中关村学院与华中科技大学联培博士连仕杰,通讯作者为北京中关村学院导师、中关村人工智能研究院研究员、深度机智创始人陈凯。本项目依托中关村学院培育项目“通用具身基座模型构建技术研究”与深度机智合作支持,研究团队致力于构建物理常识增强的具身通用智能基座模型,加速将AGI带入物理世界。



