本数据集专为开发与提升扫地机器人的智能水平而设计,通过高度模拟其实际工作时的“弓字形”清洁路径,为机器人视觉算法的研究与训练提供全方位的仿真数据支持。数据集以一个真实的室内家装场景为背景,核心特点是完全模拟了扫地机器人的第一视角工作状态。所有数据均沿着一条典型的“弓字形”清洁轨迹生成,相机参数严格设定为:机身半径150mm,镜头高度仅50mm(紧贴地面),视角为60度。这种极低的视角完美复现了扫地机器人在行进中所“看到”的景象,包括家具底部、桌椅腿、墙角、电源线等极具挑战性的狭窄和遮挡环境,极大地增强了数据在真实应用中的价值。 我们选取了一个室内的家装场景,模拟机身半径为150mm扫地机器人进行家庭清洁时的轨迹来生成相机点位进行渲染,渲染的参数设置为,分辨率1920*1080,fov60,相机高度50mm。数据集内包含以下类型的内容:相机位姿(内外参),深度图,coco格式2d图片标注信息, 相机坐标系下的法向图,渲染图,语义图,albedo通道图。
本算法旨在处理三维模型,通过一系列步骤实现模型的分割、实例重组及格式转换,以生成新的实例模型,用于场景渲染和机器人训练等应用。 1.模型分割:本步骤接收任意初始三维模型作为输入,三维模型包括位置、尺寸、材质、顶点信息、法相信息、面片信息字段,运用拓扑连通性聚类算法将该组合模型拆分为多个面片组(face group),获取模型类型字段。此步骤有效提取模型的结构特征,有助于后续的实例重组。 2.模型实例重组:在此步骤中,对三维模型的位置、尺寸、材质、顶点信息、法相信息、面片信息字段进行分割,再利用Qwen-VL-Max和GroundingDino算法对分割后的部件进行组合,形成独立的模型实例,并获取其中的标签字段。标签字段能够使每个模型实例能够基于原模型的结构和信息进行识别和应用。 3.模型格式转换:本步骤将拆分获得的实例模型及其对应的材质信息转换为OpenUSD格式,并获取其中的碰撞体设置信息字段和动画约束信息字段,以使模型能够在场景中动起来。 通过以上步骤,将原本数据库中的模型进行重组,生成新的实例模型,并被组装成一个完整的场景,以满足场景渲染、机器人训练等多个应用需求。
| 字段名 | 类型 | 描述 |
|---|---|---|
相机位姿 |
-- | -- |
相机内参 |
-- | -- |
固定作业高度 |
-- | -- |
深度图 |
-- | -- |
实例标注 |
-- | -- |
| fieldName | exampleValue |
|---|---|
| 相机位姿 | {“位置”: [1.205, 0.050, 3.841], “旋转四元数”: [ |
| 相机内参 | {“焦距”: [1660.5, 1660.5], “主点”: [960.0, 5 |
| 固定作业高度 | 50 |