GPT-6-Astra具身能力遭大考，传统基准拿满分，真机频碰壁

上月OpenAI发布GPT-6-Astra时，宣称这是“全球最聪明且最符合人类意图的模型”。具身社区却惊讶地发现，VLA与WAM之间的路线争议，被通用大模型通过文字模态实现了“降维打击”，人们不禁提出疑问：

“GPT-6-Astra在具身能力上的极限在哪里？具身社区接下来最该聚焦什么？”

近日，商汤携手大晓机器人、Ropedia、新加坡南洋理工大学及东京大学的研究团队，在《Has GPT-6-Astra Achieved Embodied Intelligence?》中，提供了覆盖12项仿真评测和8个真实机器人平台的系统性分析。

他们还研究了GPT-6-Astra与底层机器人控制系统的交互方式，设计了一套更贴合实际家庭需求的具身评测原型。

技术报告链接：https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence

有趣的是，同一个GPT-6-Astra，在简单解除限制后，于多项传统具身评测中取得了满分或接近满分的成绩：在长程组合操作基准LIBERO-Long++上达到100%，在考察操作鲁棒性和泛化能力的LIBERO-Pro上达到99.3%，人形机器人基准SIMPLE上达到98.8%，RoboDojo上也达到81.9%。然而，当这个模型指挥真实机器人执行任务时，一些日常小事仍然让它感到棘手。

“将笔放入笔筒，这个对人类而言只需几秒钟的任务，总共耗时4个多小时，花费55美元。”

“明明判断鸡蛋煎好了，却没及时关火，导致鸡蛋烧焦；打开冰箱放下牛奶后，又忙着搬水果，让冰箱门敞开了好几分钟。”

“插入插头的操作，在多款真机上交叉验证了11次，一次都没成功。”

高分与失误的鲜明对比，揭示了一个核心问题：具备规划、观察和纠错能力的通用大模型，距离可靠地完成实际任务，还有多远？

报告给出的结论是：GPT-6-Astra已基本跨越了具身能力的门槛，但距离可实际部署的具身智能仍有显著差距。实验中暴露的成本、耗时问题以及那些意外失误，恰好指明了接下来最需要攻克的难点。

值得注意的是，去年GPT-5发布后，同一团队曾发布过一篇针对其空间智能的评测文章《Has GPT-5 Achieved Spatial Intelligence》，随后推出了SenseNova-SI系列模型。如此看来，这次评测更像是一次“提前预告”。

从满分到不足三成 成功率差异何在？

目前，机器人操作领域广泛采用专门训练的控制策略，以及视觉-语言-动作模型（VLA）等技术路线。这类模型通常利用真实或仿真的机器人操作数据进行训练，使机器人能根据视觉信息和任务指令，执行抓取、移动、放置等动作。

GPT-6-Astra的出现，为具身智能提供了另一种可能性。通用大模型能结合视觉信息、机器人状态和任务要求，直接生成操作指令，以供后续执行和调整。它能完成的任务，也开始跨越不同的机器人形态。

为了系统研究这种能力，商汤SenseNova及其联合研究团队选取了12项代表性评测，涵盖桌面操作、灵巧操作、人形机器人移动操作、家庭长程任务和视觉语言导航等五类场景。评测中，GPT-6-Astra采用同一套评测思路，在不同环境中读取观察信息、生成机器人动作，并根据执行结果继续决策。

成绩确实亮眼。除了之前提到的LIBERO-Long++、LIBERO-Pro和SIMPLE，在超长程机器人操作基准LIBERO-Ultra-Long上达到98.9%。对于更复杂的灵巧操作，GPT-6-Astra在DexJoCo上取得87.3%的成功率，在RoboDojo上达到81.9%。这表明，GPT-6-Astra在大多数评测中达到或超越了当时已公开方法的最佳成绩。

这些高分成绩的背后，研究团队设计了两项关键条件：

第一是上下文学习（ICL）：评测前，GPT-6-Astra可以查看训练集中允许使用的成功示范，从中提取任务说明、动作轨迹、视觉参考、辅助代码和失败恢复方法，形成知识包。知识包在正式测试前冻结，模型参数保持不变，测试任务之间也不交换新经验。

这相当于让模型先研究已有的操作资料，再进入考场。机器人遇到当前场景时，可以检索相似的示范动作，结合眼前物体的位置进行调整。它利用了任务经验，但没有通过重新训练模型权重来学习这些动作。

第二个条件是增加执行步数。传统具身评测通常限制机器人的最大动作步数，一旦达到上限，即使任务只剩最后几个动作，也会被判定为失败。

研究团队在标准执行预算（1×）的基础上，允许模型最多使用10倍的动作步数。当机器人抓取失败、物体偏移或操作未达预期时，可以继续观察环境，调整操作方案并重新尝试。

这一调整效果立竿见影。以RoboDojo基准为例，成功率从标准预算下的27.6%提高到10×预算下的81.9%。Bench2Dex也从25.6%提高到61.5%。在这类需要反复调整抓取位置、双手配合和接触精度的任务中，GPT-6-Astra展现了一定的失败恢复能力。

然而，这种提升并未在所有基准上出现。在家庭长程基准BEHAVIOR中，成功率仅为37.0%。在长程导航基准LHPR-VLN中，即使扩展执行预算，成功率也只有28.9%。可以看到，对于这些需要持续管理多个子任务的复杂场景，增加操作次数带来的帮助相对有限。

即使能纠错，仍可能越做越糟

商汤SenseNova及其联合研究团队整理的失败案例中，有一个场景颇具代表性：机器人需要将杯子挂在挂钩上。GPT-6-Astra通过头部摄像头观察，发现杯柄似乎已与挂钩重合，于是判断操作成功。但从另一个摄像头视角看，杯子其实没挂上去，反而落在桌面。模型随后尝试重新抓取，但又将机械夹爪闭合误认为已接触杯子，导致后续操作继续出错。

拼图任务也出现了类似情况。GPT-6-Astra判断四块拼图已组成目标形状，但实际上仍有部分位置未对齐。由于无法识别问题所在，它不断调整拼图位置，却将原本接近完成的部分重新弄乱。

这两个案例说明，即使模型能理解任务目标，也可能无法准确判断物理操作是否真正成功。在语言或软件任务中，许多结果可通过文本、程序输出或测试反馈验证。但在机器人操作中，物体看起来放到了正确位置，并不代表它稳定接触、支撑、对齐或固定到位。机器人需要判断的是物体之间真实的接触和位置关系，但对GPT-6-Astra来说，这存在困难。更麻烦的是，物理世界中的一些错误发生后很难补救。

在RoboDojo的倒液体任务中，GPT-6-Astra操作时把杯子碰倒，液体洒在桌面上。模型随后扶正杯子，尝试继续倒液体，但洒出的部分无法通过简单重试恢复。在DexJoCo的装配任务中，一个零件从机械手中滑落到地面。GPT-6-Astra判断零件超出可操作范围，停止了后续动作。

这解释了为什么增加执行步数不一定能解决所有问题。如果机器人只是抓取位置偏了一点，可以重新观察并调整夹爪。但如果物体已损坏、液体已洒出，或零件落到了无法触及的位置，更多操作尝试也未必有用。

长任务又多出一层麻烦。收纳笔记本电脑和耳机时，GPT-6-Astra已把笔记本放好，也将耳机挂在支架上。可它随后返回调整耳机位置时，又把耳机碰落下来。直到最后，耳机也没被重新挂好。这类失败很容易被忽略。机器人完成一个步骤后，环境不会永远保持原样。一旦此前完成的条件被破坏，后续任务就可能受影响。这意味着，随着模型越来越擅长规划和纠错，物理执行过程中的验证与恢复成为新的难点。

装上更强大脑 执行成本是一大难题

有些评测虽几乎被解决，但时间和Token开销惊人。LIBERO-Long++在标准预算下的成功率已达97.5%，但每个测试回合平均仍需消耗约100万Token，推理和工具使用耗时接近一小时。在任务更长的LIBERO-Ultra-Long上，平均Token消耗约900万，耗时接近两小时。在RoboDojo的扩展预算测试中，单个回合平均耗时甚至超过三小时。

这些时间并未都花在机器人运动上，大量时间用于模型推理、检查执行结果和调用工具。任务难度越大，反复思考和尝试带来的开销越不容忽视。

既然增加尝试次数带来了高昂的时间和Token开销，商汤SenseNova及其联合研究团队开始探索减少不必要的模型调用，让每次推理和纠错更有效。为此，他们把注意力转向Harness，即连接模型、环境观察和机器人控制接口的执行系统。

在RoboDojo基准上，让GPT-6-Astra充当负责推理和动作审查的System 2，让经过该评测任务微调的π0.5 VLA充当提出动作的System 1，并比较不同协作方式。

开环协作中，GPT-6-Astra给出子目标，VLA生成并执行动作，成功率仅5.83%。闭环协作则会把VLA提出的候选动作转换为末端执行器运动，让GPT-6-Astra在执行前决定接受、修改还是拒绝。每次审核4个候选动作时，成功率升至25.83%。再结合ICL，在每次审核2个候选动作的配置下，闭环协作达到54.17%的成功率，但Token消耗约1933.5万，是未结合ICL、每次审核4个动作的闭环配置的约6.9倍。

除了模型与VLA的协作，Harness还需解决一个问题：如何将大模型的决策转化为机器人能准确执行的动作。

研究团队在GPT-6-Astra直接控制机器人的实验中发现，让模型直接指定机械臂各关节角度，成功率仅9.72%；而改为指定机械臂末端的位置和姿态，成功率提升至15.83%；进一步采用相对方向和移动距离描述动作，成功率达18.06%。“让大模型负责判断机械臂往哪里移动，具体关节运动交给底层控制器处理，效果更好。”

另一个影响成功率和成本的因素是模型的调用频率。每执行一步都重新调用模型，虽便于及时调整，但开销较高。连续执行固定的多步动作，又可能错过环境变化。他们让模型根据情况选择一次执行1至4步，成功率从15.83%提升至20.00%，Token消耗则从256万降至114.6万。

这些实验都指向Harness设计中的一个重要取舍：大模型在必要时参与判断和纠错，同时尽可能减少不必要的调用。执行系统如何安排这两者，将直接影响机器人的成功率和Token开销。

八个真机平台 能抓能走，精细操作碰壁

仿真评测成绩再高，机器人还是要进入真实的物理环境。为了验证GPT-6-Astra的实际能力，商汤SenseNova及其联合研究团队将其部署到8个真实机器人平台，覆盖五类不同形态，包括Franka 3、Franka Panda等单臂机械臂、双臂Piper机器人、搭载灵巧手的天机M6S、轮式移动操作机器人，以及宇树G1人形机器人。

与前面的仿真实验不同，这组真机实验没有向GPT-6-Astra提供成功任务示范，也没有针对机器人进行额外训练。模型获得的是人类编写的结构化信息，包括机器人接口、关节限制、摄像头位置、安全约束，以及部分平台上的操作提示。执行时按真实时间计量，通常限时60分钟，并由现场操作人员负责安全监护。

结果显示，在这些条件下，同一个GPT-6-Astra确实能控制不同形态的机器人完成一系列操作：在刚性物体抓取与放置任务中，18次测试成功了17次。在宇树G1上，GPT-6-Astra通过底层控制接口，完成了3次机械臂操作中的2次，以及全部3次转身、行走和停止任务。

不过，一旦涉及精细接触和长程任务，成功率就会明显下降。在Franka 3的布料折叠任务中，4次尝试成功了2次。在三个机器人平台上的插头插入任务中，累计11次尝试全部失败。在AgileX Tracer的长程导航与搜索任务中，23次测试只成功了9次。

这些结果反映出，机器人能完成刚性物体抓取，并不意味着它能hold住柔性物体操作、精密接触和长程自主任务。但真机实验中也出现了一个让人感到意外的现象。

在插花任务中，机器人需要抓住花茎，将花插入花瓶。单臂Franka 3尝试执行时，腕部摄像头只能看到被夹爪抓住的花茎，看不到下方花瓶口。由于缺少关键视角，机器人最终没有成功。在换成双臂Piper后，情况发生了变化。GPT-6-Astra控制一只机械臂抓住花茎，同时主动移动另一只空闲机械臂，让它的腕部摄像头逐渐靠近花瓶口。当模型获得清晰视角后，便顺利完成了插花操作。

这一行为体现出了“主动视觉”能力。GPT-6-Astra在没有任务示范的情况下，能主动改变视角，为研究通用模型理解并利用机器人自身的感知能力提供了一个有价值的案例。

真实世界还暴露出了仿真环境很难充分体现的问题。首先是安全。在一些操作中，机械臂因接触桌面或发生关节碰撞触发保护停机，导致任务直接中断。其次是机械负载。在天机M6S上的重复抓取尝试中，灵巧手部分手指关节因负载问题停滞，温度升至62摄氏度，中断了操作。

模型的决策速度同样是问题。在宇树G1的实验中，GPT-6-Astra约90%的运行时间都花在决策思考上，一次操作实验可能耗时超过一小时。机器人长时间等待模型生成下一步动作，硬件持续占用，时间成本、设备风险和人工监督成本不断累积。

对机器人厂商来说，让模型的判断准确转化为物理动作，并在不同任务和环境中保持稳定，成为产品落地的重要考验。

具身评测接近满分 接下来考什么？

当GPT-6-Astra在多项具身评测中取得接近满分的成绩，商汤SenseNova及其联合研究团队开始重新审视一个问题：这些高分究竟能在多大程度上反映机器人在现实生活中的能力？

现有具身评测大多围绕明确的任务目标展开，而生活中的任务往往没这么简单。假设用户对机器人说：“帮我准备早餐。”如果用户15分钟后就要出门，那么10分钟内准备好鸡蛋和面包，可能比花一个小时做出丰盛的早餐更有价值。机器人还要记得关火、关冰箱门，不能因为忙着做饭，就把厨房弄得一团糟。

按照部分现有评测的规则，只要食物达到指定熟度，即使随后被烧焦，也可能仍然满足成功条件。他们以BEHAVIOR-1K的烹饪任务为例，指出了这种评测方式的局限。

他们认为，未来的具身评测需要做出一些调整。任务应更贴近人的实际需求，允许机器人自行决定完成方式，并考虑最终结果对用户的价值。测试时也不应默认提供现成的成功示范，让机器人有机会在陌生环境中自行探索。同时，推理耗时也需要纳入评价。

为了验证这些想法，研究团队利用NVIDIA Isaac Sim构建了一套可交互的单卧室家庭环境，配备冰箱、水槽、炉灶、空气炸锅等家用设备，模拟物体接触、液体流动和加热过程。GPT-6-Astra通过仿真机器人AgiBot G2的摄像头和机器人状态信息观察环境，在没有任务示范的情况下，尝试完成准备早餐、整理桌面和收纳物品等任务。

GPT-6-Astra暴露出不少问题。整理桌面时，机械臂碰倒了其他物品，甚至推歪了显示器。收纳食品时，它把牛奶放进冰箱后转身处理水果，冰箱门却一直敞开。面对陌生的水龙头，机器人反复推动本应旋转的把手，没能及时关水，导致水槽溢水。煎蛋时，模型虽然判断鸡蛋已经煎好，也决定关火，但直到约90秒后才关炉火。此时鸡蛋已经烧焦，余热还在继续加热。

这些家庭实验目前还只是小规模探索，并不能代表机器人实际部署后的表现。但从鸡蛋煎熟后又被烧焦，到牛奶放进冰箱忘记关门，都说明只看任务是否完成，很容易漏掉执行过程中发生的问题。

恰恰是这些问题，为进一步改进机器人系统提供了线索。如果每次失败都能留下完整的执行记录，研究人员就有机会找到问题发生在哪一步，并验证不同的改进方案。

从失败中学习 机器人系统开始自我改进

回顾这项研究，我们可以发现一个贯穿始终的现象。GPT-6-Astra在机器人任务中的表现，与已有经验的利用程度以及模型与执行系统之间的配合程度呈现正相关。提供任务示范、调整动作接口、增加反馈检查，都可能在不更新模型权重的情况下，显著改变成功率。

这就为另一个研究方向提供了空间：如何让机器人从过去的失败中积累经验并尽可能避免在下一次执行时犯同样的错误？围绕这一方向，商汤开展了SenseNova-RoboRSI研究，尝试让Harness根据任务反馈改进。核心思路是：构建面向机器人任务的统一Agent运行与评测框架。

项目链接：https://github.com/OpenSenseNova/SenseNova-RoboRSI

具体来讲，开发者可以将不同模型、机器人控制工具、技能模块和执行环境连接到同一套运行系统中，并通过实际任务反馈观察整个执行过程。这里Harness负责管理模型接收哪些信息、什么时候调用工具、以何种方式生成动作以及执行失败后怎么继续处理。

在此基础上，Harness还要具备持续改进能力。举个例子，机器人在抓取任务失败后，系统利用执行轨迹和反馈信息分析原因，并据此调整动作生成方式、规划策略、反馈检查和记忆组织方式，接着再回到相应的评测任务中进行验证。有效的改进会被保留到后续版本，整个过程无需更新基础模型权重，这一过程对应了递归自我进化（RSI）的思路。

商汤在此前公开的RoboDojo-Sim实验中展示了这一方向的初步结果。相较于GPT-6-Astra基线，SenseNova-RoboRSI的平均分从28.97提升至60.08，成功率从22.48%提升至54.17%。

除了RoboDojo-Sim，SenseNova-RoboRSI在其他具身评测中也取得了不错的成绩。在LIBERO-Pro评测中，其成功率达到94.50%，高于同样采用GPT-6-Astra的RPent方法（92.63%）。在RoboCasa365的目标厨房环境中，结合任务记忆取得了64.60%的成功率，高于Paimon-0（58.10%）等方法。

SenseNova-RoboRSI-27B-Preview进一步探索了较小规模模型与Harness联合RSI的效果，初步评测结果表现同样亮眼。

在RoboDojo上，27B模型通过VLA辅助执行取得26.13的平均分，比GPT-6-Astra基线低2.84分。在LIBERO-Pro上，V