该数据集包含一系列视频片段,每个片段都展示了一个完整的动态手势过程(如“挥手”、“左滑”、“右滑”、“放大缩小”),并标注了对应的动作类别。数据适用于视频会议中的互动操作、非接触式支付确认、游戏中的技能释放以及机器人的手势引导等。利用该数据训练的模型能够理解手部运动的时序信息,解决了静态手势无法表达连续或过程性指令的难题,极大地丰富了人机交互的维度。
动态手势识别的核心是理解手势在时间序列上的变化。具体过程包括:(1)数据收集:录制包含完整动态手势的视频片段,并进行类别标注。(2)数据处理:从视频中采样一系列连续的视频帧序列。再使用一个时空特征提取器来同时编码外观和运动信息。特征提取通过公式 F_dynamic=Encoderspatio-temporal({I1,I2,...,It}) 完成,其中 {I1,...,It} 是视频帧序列, F_dynamic表示视频中手势在高维语义特征空间的映射。(3)模型构建:将提取的时空特征输入分类器,以识别整个序列代表的动态手势。根据公式 P_dynamic_class=Classifier(F_dynamic) 进行分类,其中Classifier为神经网络分类器,P_dynamic_class为预测类别;关键评估指标为平均分类准确率。
| 字段名 | 类型 | 描述 |
|---|---|---|
编号 |
-- | -- |
视频片段 |
-- | -- |
视频帧序列 |
-- | -- |
类别标注 |
-- | -- |
手势语义特征向量 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 编号 | U207-20251017-SH0000 |
| 视频片段 | U207-20251017-SH0000\video.mp4 |
| 视频帧序列 | [20, 21, 22, 23, 24, 25, 26, 27, 28, 29, |
curl -H "Authorization: Bearer YOUR_API_KEY" \
http://localhost:3001/api/v1/datasets/8417915