该数据面向复杂人机交互与高精度动作识别,广泛应用于虚拟现实、增强现实、智能制造、教育培训、应急管理、安全生产及地产建筑等领域。通过高质量深度与RGB数据融合,可在复杂光照、遮挡及多人交互环境中实现精准人体姿态捕捉,支持裸眼3D沉浸式教学、虚拟实验、应急演练、实时监控与建筑展示,有效提升交互体验与应用效率。
1.数据采集:通过自主研发的深度成像设备,在混合现实场景中持续采集多帧深度图,重点覆盖光照复杂、阴影频繁和低光等环境。采集过程严格遵守法规与安全规范,确保数据 合规可靠,同时避免泄露个人隐私,为后续姿态识别算法提供稳定输入。 2. 人体检测:采用针对深度图优化的自训练目标检测算法,对每一帧深度数据进行人体区 域定位。该算法结合了大规模真实场景深度样本进行训练,能够在复杂光影与背景变化条 件下保持高鲁棒性。算法输出人体外接矩形框坐标及其置信度,确保后续姿态估计步骤的 数据基础精准可靠。 3. 关键点提取:在检测到的人体区域基础上,引入多模型集成的人体姿态估计算法。输入为人体 ROI 的深度图像,输出为人体 17 个关键点(如肩、肘、腕、髋等)的空间像素坐标及置信度。由于深度图具有更强的几何约束,模型能够在复杂环境中实现稳定、精确的骨骼关键点定位。 4. 动态指标计算与误差识别:基于连续帧的推理结果,对各个关节在时间维度上的运动变化(速度和加速度)进行计算。同时结合关键点的置信度分布,对可能存在预测偏差的帧进行标记,从而为后续人工审核提供依据。 5. 人工修订:对于运动加速度超过设定阈值的异常帧,或关键点置信度不足的低质量预测,由专业人员进行人工校正。在人工修订过程中,常见的关键点预测误差类型主要包括: Jitter:预测点在真实位置附近存在微小抖动;Miss:预测点与真实位置相距较远,未能落在相应部位邻近区域; Inversion:同一人体实例内部出现混淆,例如将左肘识别为右肘;Swap:不同人体实例之间的混淆,预测点被错误地落在另一人的对应部位附近。 6. 时空平滑优化:利用自研的时空神经网络,对经过修正的关键点序列开展平滑处理。该模型综合考虑时间连续性与空间一致性,有效减少因采集噪声或检测误差带来的抖动,使最终输出的深度姿态序列更加自然、流畅,显著提升数据的整体质量。
| 字段名 | 类型 | 描述 |
|---|---|---|
图像名称 |
-- | -- |
图像宽度 |
-- | -- |
图像高度 |
-- | -- |
位深度 |
-- | -- |
骨盆x坐标 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 图像名称 | anonymous_230922_standing_1023913.png |
| 图像宽度 | 640 |
| 图像高度 | 480 |
curl -H "Authorization: Bearer YOUR_API_KEY" \
http://localhost:3001/api/v1/datasets/8397812