Hugging Face Daily Papers 和 arXiv 近期关于 VLAct、StarVLA、Beyond Data Scaling for Vision-Language-Action Models 的讨论，指向具身智能里一个非常现实的问题：机器人 agent 要继续提升，真的只需要更多轨迹数据吗？参考来源：Hugging Face Papers、arXiv 搜索、Open X-Embodiment。
VLA 是 Vision-Language-Action。它把机器人任务拆成三层：视觉看到什么，语言要求什么，动作应该怎么做。听起来像把多模态模型接到机器人控制器，但实际难度远高于聊天模型。聊天模型说错一句话可以重试，机器人动作一旦执行，就会改变环境。抓取失败会移动物体，路径错误会撞到障碍，实验动作错误会污染样本。
因此 VLA 模型的关键不是“更会聊天”，而是更稳定地把环境状态映射到安全动作。VLAct 和 StarVLA 这类工作值得看，是因为它们把注意力从“无限扩大真实机器人数据”转向“表征中心的继续预训练”。
数据扩展为什么遇到瓶颈
大语言模型和视觉模型的成功经验很容易让人以为：数据越多，模型越强。机器人领域当然也需要数据，但真实机器人数据有几个天然限制。
第一，采集成本高。一条轨迹需要真实设备、场地、物体、传感器和人工维护。失败轨迹还可能损坏设备。
第二，硬件差异大。不同机械臂、夹爪、摄像头、移动底盘的动作空间不同，轨迹不容易直接合并。
第三，环境长尾多。桌面、光照、遮挡、物体材质和人类干预都会影响结果。
第四，标注困难。动作序列本身还不够，还要知道任务目标、失败原因、接触状态和可恢复步骤。
这就是为什么 VLA 不能简单复刻网页文本预训练。真实世界交互数据太贵，必须用更聪明的表征学习来放大有限轨迹的价值。
表征中心是什么意思
表征中心路线的核心是：先让模型学会“看懂状态”和“理解任务”，再把动作头接上去。换句话说，动作预测不是从零学，而是建立在强视觉语言表示之上。
一个简化训练流程可以这样理解：
1. 用大规模图像、视频和语言数据训练视觉语言表征
2. 用机器人观察数据继续预训练，让模型熟悉相机视角和操作场景
3. 接入动作 token 或连续动作头，学习从状态到动作
4. 用仿真和少量真实轨迹做适配
5. 上真实设备前通过安全控制器验证动作这个流程和软件 agent 很像。软件 agent 如果没有任务、代码库、工具和历史轨迹的好表征，直接学习“下一步调用哪个工具”也会不稳定。机器人 agent 只是把这个问题带到了更高风险的物理世界。
动作 token 的两难
VLA 模型常见做法是把动作离散成 token，或者用连续动作头输出控制量。离散 token 更接近语言模型训练方式，方便统一架构；连续控制更贴近机器人执行，但训练和稳定性更难。
离散动作的风险是分辨率。抓取、旋转、靠近、插入这类任务对精度敏感，粗 token 可能不够。连续动作的风险是安全。模型输出一个数值，看起来合理，但可能在边界条件下超过速度或空间限制。
所以无论哪条路线，都不能让模型直接支配硬件。动作输出后必须进入控制器，控制器检查工作空间、速度、力矩、碰撞、传感器状态和急停条件。VLA 模型负责生成候选动作，不负责绕过物理约束。
仿真不是万能，但必须有
仿真数据常被质疑 sim-to-real gap。质疑是对的，但结论不应是不用仿真。更合理的看法是：仿真适合训练任务结构、失败恢复和安全策略，不适合完全替代真实接触数据。
例如让机器人整理桌面，仿真可以覆盖大量物体布局和路线规划，让模型学会先观察、再选择目标、再规划抓取顺序。真实数据则用来校准材质、摩擦、夹爪力度和相机噪声。
开发者可以把仿真轨迹当成“任务语法”，真实轨迹当成“物理校准”。表征中心路线的优势，就是能把两类数据通过视觉语言状态空间连接起来。
一个小型实验设计
即使没有真实机器人，也可以用仿真环境验证 VLA 思路。记录观察图像、语言目标、动作和结果，然后训练一个小型动作选择器。
type VLASample = {
imageId: string;
instruction: string;
stateSummary: string;
action: "move_left" | "move_right" | "grasp" | "release" | "stop";
successAfterAction: boolean;
};
function buildPrompt(sample: VLASample) {
return [
`Instruction: ${sample.instruction}`,
`State: ${sample.stateSummary}`,
"Choose the next safe action from the allowed action set.",
].join("\n");
}这个玩具实验不追求 SOTA。它训练的是工程直觉：动作集合要受限，状态摘要要稳定，失败结果要记录，模型输出要可验证。
对开发者的启发
第一，机器人 agent 的核心资产不是单条成功 demo，而是可重放轨迹。记录每次观察、动作、传感器反馈和结果，比录一个漂亮视频更重要。
第二，表征要服务于控制。模型能描述画面不代表能安全行动。要评估状态理解是否真的改善动作选择。
第三，跨硬件迁移要谨慎。一个模型在 A 机械臂上学到的动作，不一定能直接用于 B 机械臂。需要设备能力描述和动作适配层。
第四，失败轨迹很有价值。机器人学习需要知道什么时候停、什么时候重新观察、什么时候请求人工协助。
第五，安全控制器是必需品。VLA 模型再强，也只是感知和规划组件，不能替代硬件边界。
结论
VLAct、StarVLA 这类工作把 VLA 研究从“更多机器人数据”拉回到“更好的表征”。这很重要，因为真实世界数据昂贵、稀缺、带风险，而表征学习能让有限轨迹发挥更大作用。
对普通 AI 开发者来说，机器人 agent 也提供了一个反向提醒：动作之前一定要有状态表征，执行之前一定要有安全控制。软件 agent 如果能吸收这个思路，也会更稳。先理解环境，再生成计划，再经由受限控制器执行，这可能是所有 agent 系统共同的底层模式。