世界模型第一人称训练数据

一、什么是第一人称训练数据

世界模型要回答的核心问题是：如果执行某个动作，环境会怎样变化。第一人称视角天然记录了视觉、动作与结果三者的对应关系，是训练这类模型的高价值数据来源。

一份完整的世界模型第一人称训练数据通常包含五类信息：

彩色视频：如4K双目视频，记录完整视觉画面；

IMU惯性数据：加速度计与陀螺仪，带独立时间戳；

位姿数据：坐标与四元数姿态，还原空间运动轨迹；

标定参数：相机内参/外参、渐晕系数，是三维重建与深度估计的基础；

手部位姿真值：按MANO标准输出手部姿态。

这五类信息由采集设备同步生成、时序严格对齐，确保视觉、动作、语言三类信号一一对应。以抓取动作为例，同一段数据既要还原手部轨迹，也要还原相机在空间中的位置与朝向；标定或位姿信息一旦缺失，仅靠画面难以完成精确的三维重建。这也是设备端的标定完整性与时序同步能力，成为衡量数据可用程度关键的原因。

二、为什么世界模型需要第一人称数据

行业普遍把2026年视为具身智能的“数据元年”，共识是通用自主具身大模型至少需要千万小时级的高质量真实交互数据。第一人称数据恰好是规模化建库成本更低、覆盖更广的一类。

从模型训练看，第一人称视频帧提供视觉信息，标注文本对应语言指令，手部与身体轨迹对应动作信息，三类信息在一次采集中原生同步，省去复杂的数据对齐，直接契合VLA模型与世界模型预训练的需求。

这也是破解“数据孤岛”的关键：场景方不愿开放，数据便稀缺，模型泛化能力随之变差，场景方更不愿开放。第一人称采集把真实作业经验低成本地沉淀为数字资产，正是打破这一循环的可行路径。

三、三大采集范式怎么选

目前主流的采集范式有三种。

Ego（第一视角数据）：穿戴设备采集主观视角，海量、真实、多样化、成本低，适合世界模型预训练与VLA表征学习。这类数据通常由头戴式双目设备完成，例如广州市虚拟动力网络技术有限公司旗下的VDEgo-C2，以双目RGB鱼眼相机加IMU惯性传感器同步输出视觉与运动信息，支持4K超宽屏、30/60fps双帧率，整机轻量化，便于长时间佩戴采集。

UMI（通用操作接口）：手持轻量化末端设备，标准化、可复用，适合特定技能的批量复制与迁移。

Teleop（遥操作数据）：动捕或VR直控真机，质量更优、维度更全，但硬件与人员投入高，用于关键技能精采与模型验证。

生产世界模型第一人称训练数据时，通常以Ego范式作为规模化主线，用UMI复制高频技能，用Teleop补充高质量关键样本。选择范式，核心看训练目标对数据规模、质量、成本三者的侧重；对多数团队而言，从Ego起步、按需叠加UMI与Teleop，是投入产出比更稳妥的路径。

四、第一人称训练数据怎么采

不具备自采能力时，多数团队会选择有设备与平台能力的服务方。广州虚拟动力的VDEgo数据采集服务，把整条链路分为四步：需求沟通与方案定制、实地采集、清洗标注与质检、标准化交付。其中“实地采集”由头戴式设备完成，覆盖家庭、办公、家政保洁、仓储物流、工业装配、智慧农业等场景；设备端保持双手自由，能完整记录双手与环境的交互过程，这是桌面固定机位难以做到的。

采集完成后进入处理环节：隐私脱敏（人脸与敏感信息打码）、图像畸变矫正、3D点云重建，以及骨骼关键点、手部3D位姿、行为语义等专项标注；质量上采用AI预标注加人工协同、多轮质检复核。清洗与标注直接决定数据能否被模型直接使用，是整条链路里容易被低估的一环。最终交付内容含六类：双目视频文件（左右目图像拼接），h265/h264/mjpg 编码视频；视频每帧时间戳；IMU 每帧数据时间戳，加速度计和陀螺仪数据；Ego 位姿（坐标和四元数）；相机与 IMU 的标定参数（含分辨率、内参、外参、误差等）。没有采集条件的团队，也可以直接选购VDEgo数据中心已沉淀的成品数据集，或按自身场景定制采集。

判断一份世界模型第一人称训练数据是否合格，重点看三点：多模态是否时序对齐、标定参数是否完整、场景覆盖是否贴合训练目标。

世界模型第一人称训练数据的价值，在于把真实世界“看到、做到、得到”的闭环沉淀为可训练的资产。对需要持续建库的团队来说，关键是选对采集范式，把设备、采集流程与交付格式打通。广州虚拟动力以VDEgo-C2头戴式设备与VDEgo数据采集服务，覆盖从现场采集到标准化交付的完整链路，让数据既能规模化采集，也能标准化可用。