本数据集旨在为三维物体识别大模型提供大规模、高质量、多类别的预训练数据,以构建强大的视觉感知基础能力。可专项用于其VR/AR产品。数据集精心选取了与个人生活及消费电子场景高度相关的四大核心类别:人物、汽车、宠物、日用品。模型不局限于单一背景,而是覆盖了室内(如客厅、卧室)、室外(如街道、停车场)、及纯色背景等多种情境,以确保模型的泛化能力。数据集特别注重模型的细节质量、几何准确性及纹理真实感,以满足客户在VR/AR应用中对高保真视觉和精准交互的严格要求。
本算法旨在处理三维模型,通过一系列步骤实现模型的分割、实例重组及格式转换,以生成新的实例模型,用于场景渲染和机器人训练等应用。 1.模型分割:本步骤接收任意初始三维模型作为输入,三维模型包括位置、尺寸、材质、顶点信息、法相信息、面片信息字段,运用拓扑连通性聚类算法将该组合模型拆分为多个面片组(face group),获取模型类型字段。此步骤有效提取模型的结构特征,有助于后续的实例重组。 2.模型实例重组:在此步骤中,对三维模型的位置、尺寸、材质、顶点信息、法相信息、面片信息字段进行分割,再利用Qwen-VL-Max和GroundingDino算法对分割后的部件进行组合,形成独立的模型实例,并获取其中的标签字段。标签字段能够使每个模型实例能够基于原模型的结构和信息进行识别和应用。 3.模型格式转换:本步骤将拆分获得的实例模型及其对应的材质信息转换为OpenUSD格式,并获取其中的碰撞体设置信息字段和动画约束信息字段,以使模型能够在场景中动起来。 通过以上步骤,将原本数据库中的模型进行重组,生成新的实例模型,并被组装成一个完整的场景,以满足场景渲染、机器人训练等多个应用需求。
| 字段名 | 类型 | 描述 |
|---|---|---|
标识 |
-- | -- |
类别 |
-- | -- |
标签 |
-- | -- |
网格模型文件路径 |
-- | -- |
PBR纹理贴图路径 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 标识 | pico_indoor_chair_0158 |
| 类别 | 家具 |
| 标签 | 人体工学办公椅 |