混合现实空间3D人体姿态虚拟视频数据聚焦复杂人机交互场景，基于 UnrealEngine 构建虚拟仿真环境，生成含 RGB 视频、深度图、3D 骨架标注的多模态数据，覆盖多角色、多场景，具备多模态融合、环境挑战覆盖全面、精度可控等优势 。在应用场景上，可深度赋能多领域：广泛服务教育培训、应急管理、安全生产与地产建筑等领域，支撑职业技能实训、安全行为监管、虚拟应急演练及沉浸式展示，为智慧教育优化教学动作示范、工业安全强化风险行为识别、数字地产实现场景沉浸式呈现 。目前已在智慧教育、工业安全、数字地产等方向落地，提供数据支撑与技术方案，从科研突破到产业实践，驱动各领域创新升级，助力教学提效、风险预警、决策优化，拓展应用边界，释放数据价值 。
1.虚拟动作生成：在 UnrealEngine (UE) 环境中搭建多类虚拟场景，覆盖简化实验空间与复杂交互空间。利用骨骼驱动的人体角色模型，结合外部动作库（如 Reallusion 等），生成包含日常行为、交互动作及高难度姿态的动画序列。 2.多模态渲染与标注：在场景中布置多视角虚拟摄像机，实时渲染输出 RGB 图像与深度图 (RGB-D)。同步生成 3D 骨架关键点、相机参数及可见性标签，保证每帧均具备完整、无缺失的标注。 3. 2D 姿态推理与噪声模拟：为模拟真实应用场景中的推理偏差，对渲染生成的视频逐帧输入自研的多模态 2D 姿态估计算法。输出带噪声的 2D 关键点预测结果，用于模拟现实场景下因遮挡、光照或动作突变引入的预测抖动与误差。 4.伪深度值构建：基于深度图信息，将预测的 2D 关键点映射到三维空间，生成伪 3D 关键点坐标。该结果既保留了真实推理中的不确定性，又能作为新的信息融合使用，满足多层次算法研究需求。 5.数据存储与利用：最终数据集包含三类信息：RGB-D 视频（多视角渲染结果）；高精度 3D GroundTruth（虚拟骨骼驱动生成）；带噪声的 2D / 伪 3D 推理结果（模拟真实应用场景和辅助信息融合）。
| 字段名 | 类型 | 描述 |
|---|---|---|
帧名称 |
-- | -- |
摄像机编号 |
-- | -- |
骨盆x坐标 |
-- | -- |
骨盆y坐标 |
-- | -- |
骨盆z坐标 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 帧名称 | A_3714_snowballFight_0000.exr |
| 摄像机编号 | 3714 |
| 骨盆x坐标 | 28.802339553833 |
curl -H "Authorization: Bearer YOUR_API_KEY" \
http://localhost:3001/api/v1/datasets/8397811