本数据集旨在为家居服务机器人提供全景式、精细化的感知与交互训练基础,支撑机器人在复杂、多样化的完整住宅环境中实现可靠导航、精准操作与高层任务规划。数据集构建了一个完整且真实的数字化家庭环境,覆盖客厅、餐厅、卧室、厨房、卫生间五大核心家居场景。场景内所有物体均经过实例级分割与清洗,确保模型边界清晰、无粘连;并进行了像素级语义标注,类别定义精细。这是常见家装场景,包含餐客厅,卧室,卫生间,厨房等,场景中实现了实例分割清洗,语义精准标注,部分模型提供了部件相关的信息。该场景我们使用了矩形灯光模拟真实的灯光,建议使用版本大于5的unreal仿真软件或版本为2022.1的issac sim仿真软件。
本算法旨在处理三维模型,通过一系列步骤实现模型的分割、实例重组及格式转换,以生成新的实例模型,用于场景渲染和机器人训练等应用。 1.模型分割:本步骤接收任意初始三维模型作为输入,三维模型包括位置、尺寸、材质、顶点信息、法相信息、面片信息字段,运用拓扑连通性聚类算法将该组合模型拆分为多个面片组(face group),获取模型类型字段。此步骤有效提取模型的结构特征,有助于后续的实例重组。 2.模型实例重组:在此步骤中,对三维模型的位置、尺寸、材质、顶点信息、法相信息、面片信息字段进行分割,再利用Qwen-VL-Max和GroundingDino算法对分割后的部件进行组合,形成独立的模型实例,并获取其中的标签字段。标签字段能够使每个模型实例能够基于原模型的结构和信息进行识别和应用。 3.模型格式转换:本步骤将拆分获得的实例模型及其对应的材质信息转换为OpenUSD格式,并获取其中的碰撞体设置信息字段和动画约束信息字段,以使模型能够在场景中动起来。 通过以上步骤,将原本数据库中的模型进行重组,生成新的实例模型,并被组装成一个完整的场景,以满足场景渲染、机器人训练等多个应用需求。
| 字段名 | 类型 | 描述 |
|---|---|---|
场景房间类型 |
-- | -- |
唯一ID |
-- | -- |
语义标签 |
-- | -- |
实例分割掩码路径 |
-- | -- |
部件信息 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 场景房间类型 | “主卧” |
| 唯一ID | “master_bedroom.nightstand_01” |
| 语义标签 | “床头柜” |