通过构建一个包含海量手部图像及其对应的21个手指关键点(如指尖、指关节)精确二维坐标的数据集,为深度学习模型提供训练基础。该数据广泛适用于虚拟键盘输入、手语翻译、AR滤镜与特效、以及消费级应用的精细手势控制。利用该数据训练的模型能够实时、准确地捕捉手指的形态和位置,解决了需要精确指尖或关节位置信息才能实现的交互任务,是实现高精度手势理解的基础。
二维手指关键点检测旨在从单张图像中定位手指关节的像素坐标。具体过程包括:(1)数据收集:采集各类姿态的手部图像,并由专业标注员为每个图像标注21个标准手指关键点的 (x,y) 坐标。(2)数据处理:首先通过手掌检测模型定位手部区域并进行裁剪归一化,得到预处理图像,以减少背景干扰。手部特征向量是手部图像在高维特征空间的映射,通过公式 F_hand=Encoderhand(I_crop) 提取,其中 F_hand为手部特征向量,I_crop为预处理图像。(3)模型构建:设计一个基于深度卷积网络的回归模型,用于从手部特征中预测手指关键点坐标。根据公式 KPs2D=Decoderkpt(F_hand) 从特征中解码出预测手指关键点坐标,其中 KPs2D为21个关键点的坐标;关键评估指标为关键点正确率(Percentage of Correct Keypoints, PCK),用于衡量预测关键点与真实关键点之间距离在一定阈值内的比例。
| 字段名 | 类型 | 描述 |
|---|---|---|
编号 |
-- | -- |
手部图像 |
-- | -- |
预处理图像 |
-- | -- |
标注手指关键点坐标 |
-- | -- |
手部特征向量 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 编号 | M673-20251011-SH0000 |
| 手部图像 | M673-20251011-SH0000\image.png |
| 预处理图像 | M673-20251011-SH0000\preprocessed.png |
curl -H "Authorization: Bearer YOUR_API_KEY" \
http://localhost:3001/api/v1/datasets/8417881