这些小活动你都参加了吗?快来围观一下吧!>>
电子产品世界 » 论坛首页 » 综合技术 » 通讯及无线技术 » 浅谈相机空间位置RGB图像的拼接步骤分享

共9条 1/1 1 跳转至

浅谈相机空间位置RGB图像的拼接步骤分享

高工
2022-09-17 23:40:35     打赏

 图像拼接操作是指将具有重叠区域的两幅 RGB 图像和两幅深度图像分别拼接成一幅 RGB 图像和一幅深度图像。所谓基于相机空间位置的图像拼接方法,就是将相机按照指定的方式安装,然后根据图像中每个像素的空间坐标进行拼接。该方法是应用在深度图像中,结合 RGB 图像与深度图像的对齐操作,也可以用于 RGB 图像的拼接。 

基于相机空间位置的图像拼接方法的重点在于相机的安装方式,具体安装要求如下:第一,所安装的相机在垂直方向需要与所拍摄区域保持平行。第二,所安装的相机在水平方向需要前后、左右保持平行。下图展示的是安装两个 RGB-D 相机的示意图,垂直方向安装示意图如下图a 所示,水平方向安装示意图如下图b 所示。在安装好相机之后,需要确定相机的安装高度和相机之间的间距。 

85cc2a28-2d80-11ed-ba43-dac502259ad0.png

本文在设计单件分离系统时使用了两个 RGB-D 相机,对于两个 RGB-D 相机的深度图像拼接的具体步骤如下:  1.  处理两幅深度图像中的背景像素点。依次遍历两幅深度图像中的每个像素点,像素值为 65535 的像素点即为背景像素点,需要将其像素值设置为相机安装的高度。 

2.  计算深度图像中的像素点对应到相机坐标系下的空间坐标。根据前面中的介绍,像素坐标系与相机坐标系之间的转换公式如下:

85deb616-2d80-11ed-ba43-dac502259ad0.png

3.  根据相机坐标系下的空间坐标对两幅深度图像进行拼接。遍历深度图像中的每个像素点,根据其相机坐标系下的空间坐标,对两幅深度图像以每行像素点“行满”的方式进行拼接。具体步骤如下:  

  a) 使用 OpenCV 创建存储拼接结果的矩阵,宽度与单个深度图像的宽度一样,高度是单个深度图像的高度的两倍。用 H 表示存储拼接结果矩阵的高度。

  b) 将两个 RGB-D 相机拍摄范围重叠的部分平分为两个部分,左边部分记作 leftPart,右边部分记作 rightPart。

  c) 先按行遍历图中左边 RGB-D 相机采取的深度图像。

  d) 根据其每个像素点的空间坐标,若该像素点的空间位置在 rightPart中,则把该像素点丢弃;若该像素点的空间位置不在 rightPart 中,则把该像素点及深度值填入存储拼接结果的矩阵中。每行处理完之后,若该行中的每个点都填入了存储拼接结果的矩阵中,则拼接结果的矩阵的行高 H 加 1。

  e) 接着按行遍历图右边 RGB-D 相机采取的深度图像。

  f) 根据其每个像素点的空间坐标,若该像素点的空间位置在 leftPart中,则把该像素点丢弃;若该像素点的空间位置不在 leftPart 中,则把该像素点及深度值填入存储拼接结果的矩阵中。每行处理完之后,若该行中的每个点都填入了存储拼接结果的矩阵中,则拼接结果的矩阵的行高 H 加 1。

  g) 根据存储拼接结果的矩阵的高度 H 对矩阵进行裁剪。

  下图是基于相机空间位置的深度图像拼接结果,为了方便展示对齐结果,根据相机的高度,将深度图像转换为灰度图像。左边的两幅图像分别为上下两个 RGB-D 相机所获取的图像,右边的图像为拼接之后的结果。基于相机空间位置的图像拼接方法用于深度图像拼接时只需要 5ms 左右,其拼接速度和效果都是可以应用在单件分离系统中的。

85ec5bf4-2d80-11ed-ba43-dac502259ad0.png

在对两幅深度图像进行拼接的过程中也可以执行 RGB 图像与深度图像对齐操作,这样也可以对两幅 RGB 图像进行拼接。下图是基于相机空间位置的RGB 图像拼接结果,虽然拼接效果不够完美,但是其拼接速度在 30ms 以内,该方法已经应用在单件分离系统中。 

860b6e40-2d80-11ed-ba43-dac502259ad0.png




工程师
2022-09-20 23:31:31     打赏
2楼

不错的分享


高工
2022-09-21 09:10:21     打赏
3楼

good


菜鸟
2022-09-21 09:32:30     打赏
4楼

不错的分享


高工
2022-09-21 18:01:52     打赏
5楼

谢谢分享,学习学习


专家
2022-09-21 19:59:35     打赏
6楼

感谢分享


专家
2022-09-21 20:10:02     打赏
7楼

谢谢分享


专家
2022-09-21 20:11:43     打赏
8楼

学习


专家
2022-09-22 00:10:34     打赏
9楼

谢谢分享


共9条 1/1 1 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]