该数据集提供了超越标准21个关键点的高密度标注,例如在每个指节上增加额外的点,总计达到42个或更多的关键点。此数据适用于需要捕捉手指细微弯曲和表面形态的应用,如超写实虚拟化身的手部动画、专业的音乐演奏(虚拟乐器)模拟、以及需要精细触觉反馈的远程操作系统。利用该数据训练的模型能够生成更加平滑和逼真的手部姿态,解决了标准模型在表现手指精细动作时出现失真或“折断感”的问题。
高密度关键点检测旨在提供更丰富的手指形态信息。具体过程包括:(1)数据收集:采集手部图像,并进行21个关键点的高密度人工标注。(2)数据处理:由于关键点数量增多,处理时需要更关注点与点之间的结构关系。采用图神经网络(GNN)来增强模型对局部细节的感知。图像特征是手部图像在高维特征空间的表示,公式为 F_dense=Encoderdetail(I_hand),其中 Encoderdetail是一个注重细节捕捉的编码器,I_hand为输入的手部图像,F_dense为提取的图像特征。(3)模型构建:构建回归模型,预测三维关键点坐标。根据公式 KPsdense=Decoderdense_kpt(F_dense) 进行解码,其中KPsdense为预测的三维关键点坐标,由21个三维关键坐标点组成;关键评估指标除了MPJPE外,还包括曲率误差等用于衡量手指弯曲形态准确性的指标。
| 字段名 | 类型 | 描述 |
|---|---|---|
编号 |
-- | -- |
手部图像 |
-- | -- |
高密度人工标注 |
-- | -- |
图像特征 |
-- | -- |
预测的三维关键点坐标 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 编号 | R571-20251017-SH0000 |
| 手部图像 | R571-20251017-SH0000\image.png |
| 高密度人工标注 | R571-20251017-SH0000\gt.json |
curl -H "Authorization: Bearer YOUR_API_KEY" \
http://localhost:3001/api/v1/datasets/8417908