通过构建一个包含“比心”、“加油”、“勾引”等多种表达情感态度与社交邀请的静态手势图像,并为其标注对应意图类别的数据集,用于训练能够深度理解人类非语言社交信号的分类模型。该数据适用于高度拟人化的交互场景,例如直播互动中,观众通过手势触发“送爱心”、“加油打气”等虚拟礼物或实时弹幕特效;在元宇宙或VR社交平台中,用户的虚拟化身可以实时同步做出这些社交手势,与朋友进行更自然的互动;以及在AI虚拟伴侣或数字人应用中,用户可以通过手势与虚拟形象建立情感连接,获得更具人格化的回应。利用该数据训练的模型能够识别人类交流中更深层次的情感和社交意图,解决了传统手势识别大多局限于功能性指令(如控制、选择)的难题
面向情感与社交意图的静态手势识别旨在将单个图像中的手势分类为预定义的用于表达情感和社交的手势类别。具体过程包括:(1)数据收集:采集覆盖多种常见手势的图像,记录所属类别。(2)数据处理:利用手掌检测模型提取手部区域图片I_hand,然后将该区域输入到一个特征提取网络中,用来在高维特征空间表征手部区域。特征提取通过公式 F_gesture=Encodercnn(I_hand) 完成,其中F_gesture是代表手势语义的特征向量。(3)模型构建:在提取的特征向量后连接一个分类器Classifier,根据公式 P_class=Classifier(F_gesture) 预测出类别,其中P_class是预测类别;关键评估指标包括平均分类准确率。
| 字段名 | 类型 | 描述 |
|---|---|---|
编号 |
-- | -- |
手势图像 |
-- | -- |
手部区域图片 |
-- | -- |
类别 |
-- | -- |
手势语义特征向量 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 编号 | O14-20251017-SH0000 |
| 手势图像 | O14-20251017-SH0000\input.png |
| 手部区域图片 | O14-20251017-SH0000\hand.png |
curl -H "Authorization: Bearer YOUR_API_KEY" \
http://localhost:3001/api/v1/datasets/8417920