合作
咨询
帮助
谷歌开户咨询 
谷歌的研究者提出了 Google Scanned Objects (GSO) 数据集，这是一个由超过 1000 个 3D 扫描的家用物品组成的精选集。近年来，深度学习技术使得计算机视觉和机器人领域的许多进展成为可能，但训练深度模型需要各种各样的输入，以泛化到新的场景。
此前，计算机视觉领域已经利用网页抓取技术收集了数百万个主题的数据集，包括 ImageNet、Open Image、Youtube-8M、COCO 等。然而，给这些数据集贴标签仍是一个劳动密集型工作，标签错误可能会影响到对技术进步的感知，而且这种策略也很难推广至 3D 或真实世界的机器人数据上。与图像不同的是，目前网络上并没有大规模、高质量的 3D 场景，而从真实世界收集这类数据又极具挑战性。此外，人工标注员也很难从图像中提取 3D 几何特性。
一般来说，使用 Gazebo、Bullet、MuJoCo、Unity 等工具对机器人和环境进行仿真可以减轻上述限制。但是，仿真毕竟不完全是真实世界，即使一个场景是直接通过对真实环境的 3D 扫描建立起来的，扫描中的离散对象也会像固定的背景物一样，不会像真实世界的对象那样对输入做出回应。
因此，关键问题在于提供一个高质量的 3D 对象模型库，这些模型可以整合到物理和视觉建模中，为深度学习提供所需的多样性。
为了解决这个问题，谷歌的研究者提出了 Google Scanned Objects (GSO) 数据集，这是一个由超过 1000 个 3D 扫描家用物品组成的精选集，可用于 Ignition Gazebo、Bullet 模拟器和其他可以读取 SDF 模型格式的工具。在一篇论文中，研究者介绍了该数据集的收集、管理、扩展等内容。论文链接：https://arxiv.org/pdf/2204.11918.pdf
据不完全统计，GSO 数据集已经在计算机视觉、计算机图形学、机器人操作、机器人导航和 3D 形状处理等 10 个项目的 12 篇论文中得到应用：该研究贡献主要有几点：
提出 Google Scanned Objects 数据集；
3D 扫描 pipeline 设计；
3D 扫描管理和发布过程；
该数据集在研究领域中的影响。
数据集的创建
GSO 数据集起源于 2011 年谷歌的云机器人计划，目的是让机器人基于普通家用物品的高保真 3D 模型，能够在自己的环境中识别和抓取物体。
然而，除了物体识别和机器人抓取之外，3D 模型还有很多用途，包括用于物理模拟的场景构建和用于终端用户应用的 3D 物体可视化。因此，谷歌研究院发起了一个项目，将 3D 体验大规模引入谷歌，以低于传统商业级产品摄影的成本收集大量家用物品的 3D 扫描图像。
这是一项端到端的工程，包括物体获取、新颖的 3D 扫描硬件、高效的 3D 扫描软件、快速 3D 渲染的质量保障、网络与移动浏览器，以及人机交互研究。
在收集数据之后，研究者构建了一个 pipeline，让这些数据能以各种格式使用。
3D 扫描 pipeline
即使限于家用物品的领域，3D 扫描也会带来独特的挑战，包括高效的物理扫描设置、目标照明、相机可靠性、扫描仪性能、配色、纹理渲染，以及处理光学上不一致的材料，比如近白色、有光泽或透明的表面。
专用的 3D 扫描硬件是劳动密集型的，性价比不高。为了进行大规模扫描，还需要一些更具可用性和可靠性的工具。
因此，研究者设计了自己的专用扫描硬件和软件（图 2），能够在 10 分钟内扫描物体并生成高分辨率模型。控制光线的物理外壳（图 2b）使用两台机器视觉相机和一台投影仪进行结构光扫描，捕捉 3D 几何图形，并使用单独的单反高分辨率相机以产品友好的光线捕捉纹理。
项目第一年结束的时候能够做到每周超过 400 次扫描，过程中，研究团队共获得了 100K 份 360 度照片旋转和 10k 份完全 3D 扫描的独特对象。图 2。图 3：作为校准过程的扫描。(a) 校正模式使 2D pipeline 能够精确对齐相机。(b) 计算机控制的投影仪为 3D 扫描物体创造了类似的图案。(c) 合适的模式能够以亚像素精度探测位置。(d) 提取扫描物体的完整 3D 形状。图 4：扫描的物品需要通过质量检查。(a) 许多物品被捕获为高质量的封闭流形 mesh。(b) 有的物体很少产生无效的 mesh，但有时会出现变形。
仿真模型转换
上一篇：哈啰、青桔与美团单车三巨头瓜分共享单车市场 下一篇：�邑：胡家庄村“变身”记
此前，计算机视觉领域已经利用网页抓取技术收集了数百万个主题的数据集，包括 ImageNet、Open Image、Youtube-8M、COCO 等。然而，给这些数据集贴标签仍是一个劳动密集型工作，标签错误可能会影响到对技术进步的感知，而且这种策略也很难推广至 3D 或真实世界的机器人数据上。与图像不同的是，目前网络上并没有大规模、高质量的 3D 场景，而从真实世界收集这类数据又极具挑战性。此外，人工标注员也很难从图像中提取 3D 几何特性。
一般来说，使用 Gazebo、Bullet、MuJoCo、Unity 等工具对机器人和环境进行仿真可以减轻上述限制。但是，仿真毕竟不完全是真实世界，即使一个场景是直接通过对真实环境的 3D 扫描建立起来的，扫描中的离散对象也会像固定的背景物一样，不会像真实世界的对象那样对输入做出回应。
因此，关键问题在于提供一个高质量的 3D 对象模型库，这些模型可以整合到物理和视觉建模中，为深度学习提供所需的多样性。
为了解决这个问题，谷歌的研究者提出了 Google Scanned Objects (GSO) 数据集，这是一个由超过 1000 个 3D 扫描家用物品组成的精选集，可用于 Ignition Gazebo、Bullet 模拟器和其他可以读取 SDF 模型格式的工具。在一篇论文中，研究者介绍了该数据集的收集、管理、扩展等内容。论文链接：https://arxiv.org/pdf/2204.11918.pdf
据不完全统计，GSO 数据集已经在计算机视觉、计算机图形学、机器人操作、机器人导航和 3D 形状处理等 10 个项目的 12 篇论文中得到应用：该研究贡献主要有几点：
提出 Google Scanned Objects 数据集；
3D 扫描 pipeline 设计；
3D 扫描管理和发布过程；
该数据集在研究领域中的影响。
数据集的创建
GSO 数据集起源于 2011 年谷歌的云机器人计划，目的是让机器人基于普通家用物品的高保真 3D 模型，能够在自己的环境中识别和抓取物体。
然而，除了物体识别和机器人抓取之外，3D 模型还有很多用途，包括用于物理模拟的场景构建和用于终端用户应用的 3D 物体可视化。因此，谷歌研究院发起了一个项目，将 3D 体验大规模引入谷歌，以低于传统商业级产品摄影的成本收集大量家用物品的 3D 扫描图像。
这是一项端到端的工程，包括物体获取、新颖的 3D 扫描硬件、高效的 3D 扫描软件、快速 3D 渲染的质量保障、网络与移动浏览器，以及人机交互研究。
在收集数据之后，研究者构建了一个 pipeline，让这些数据能以各种格式使用。
3D 扫描 pipeline
即使限于家用物品的领域，3D 扫描也会带来独特的挑战，包括高效的物理扫描设置、目标照明、相机可靠性、扫描仪性能、配色、纹理渲染，以及处理光学上不一致的材料，比如近白色、有光泽或透明的表面。
专用的 3D 扫描硬件是劳动密集型的，性价比不高。为了进行大规模扫描，还需要一些更具可用性和可靠性的工具。
因此，研究者设计了自己的专用扫描硬件和软件（图 2），能够在 10 分钟内扫描物体并生成高分辨率模型。控制光线的物理外壳（图 2b）使用两台机器视觉相机和一台投影仪进行结构光扫描，捕捉 3D 几何图形，并使用单独的单反高分辨率相机以产品友好的光线捕捉纹理。
项目第一年结束的时候能够做到每周超过 400 次扫描，过程中，研究团队共获得了 100K 份 360 度照片旋转和 10k 份完全 3D 扫描的独特对象。图 2。图 3：作为校准过程的扫描。(a) 校正模式使 2D pipeline 能够精确对齐相机。(b) 计算机控制的投影仪为 3D 扫描物体创造了类似的图案。(c) 合适的模式能够以亚像素精度探测位置。(d) 提取扫描物体的完整 3D 形状。图 4：扫描的物品需要通过质量检查。(a) 许多物品被捕获为高质量的封闭流形 mesh。(b) 有的物体很少产生无效的 mesh，但有时会出现变形。
仿真模型转换
粤ICP47817258技术支持：迅龙网络