分析处理人脸图像的特征点数据得到blendshape数据，并将输出的blendshape数据应用到UE的数字人中；通过单摄像头采集人脸不同表情的图像并进行处理得到不同表情的人脸关键点，输入人脸关键点数据输出blendshape数据，根据blendshape数据实现数字人的不同的表情效果，实现驱动数字人人脸表情的效果，使其更加生动和逼真，增强数字人的表现力和交互性，使其具备更加生动、丰富、自然的表情变化能力
单摄像头采集了人脸图像数据face_data，使用mediapie算法得到的人脸478个点位信息数据。将采集数据通过ai算法处理得到人脸blendshape数据，具体处理过程如下：（1）模型设计：用于进行人脸特征提取的人脸bernstein模型的定义，该模型使用了卷积神经网络（CNN）来提取特征，并包括了几个卷积层、激活函数、池化层以及全连接层。 （2）模型输入：模型的输入是一个形状为(batch_size, 3, input_length)的张量，其中batch_size表示批量大小，3表示输入通道数，input_length表示输入的序列长度（或特征点数量）。 （3）模型输出：在模型的前向传播过程中，输入首先经过一系列的卷积层、激活函数和池化层，然后通过Flatten层将特征展平成一维向量。通过一个线性层L1将特征映射到输出维度。模型的输出是一个形状为(batch_size, 52)的张量，其中52表示输出的特征维度。 将blendshape数据应用到UE数字人中，实现驱动数字人的人脸表情，增强数字人的表现力和交互性，使其具备生动、丰富、自然的表情变化能力。
| 字段名 | 类型 | 描述 |
|---|---|---|
name(采集图像文件名称) |
-- | -- |
face_data |
-- | -- |
blendshape_data(1) |
-- | -- |
blendshape_data(2) |
-- | -- |
blendshape_data(3) |
-- | -- |
| fieldName | exampleValue |
|---|---|
| name(采集图像文件名称) | 28215.jpeg |
| face_data | 0.7150486109867736 0.32860698384656567 0 |
| blendshape_data(1) | 0 |
curl -H "Authorization: Bearer YOUR_API_KEY" \
http://localhost:3001/api/v1/datasets/12770