OpenVINOTM,给你看得见的未来!>>
电子产品世界 » 论坛首页 » 企业专区 » OpenVINO生态社区 » 【原创】OpenCV-Python系列之哈里斯角检测(四十五)

共2条 1/1 1 跳转至

【原创】OpenCV-Python系列之哈里斯角检测(四十五)

高工
2020-07-26 22:19:32    评分

OpenCV-Python系列之哈里斯角检测

我们在上次简述了OpenCV的特征基础原理,本次我们将步入实战部分,开始进行特征的初阶检测。

原理

 

在上一个教程中,我们知道了角点是图像中向任意方向发生改变时,都引起图像强烈变动的区域。Chris Harris Mike Stephens 在他们1988年的论文 A Combined Corner and Edge Detector 中,做了早期的尝试,尝试找出这些角点。因此现在这个算法被称为哈里斯角点检测。他把这个简单的想法变成了数学的形式。它基本上求出了位移(u,v)在各个方向上的强度差,这表示如下:

image.png

image.png

窗口函数可以是一个矩形窗口,也可以是一个给与它覆盖像素权重的高斯窗口。

为了要做角点检测,我们需要令这个函数 E(u,v) 最大。也就是说二元函数求极限的时间到了。将泰勒展开应用于上述方程,我们可以对下面函数进行一阶展开:

image.png

那么:

image.png

所以E(u,v)表达式可以更新为:

image.png

其中:

image.png

在此,Ix Iy 分别是x y方向上图像的导数。(可以被简单用索贝尔函数算出来 cv.Sobel())(译者注,M其实就是梯度的协方差矩阵)

然后进入主要的正题。做完这个步骤之后,创建了一个得分函数,基本上就是一个等式,它将决定一个窗口是否包含一个角。

image.png

其中:

1image.png

2image.png

3、λ1 λ2 M的特征值

然后,这些特征值决定了一个区域是角、边还是平面。

a、当 |R| 较小时,是因为 λ1 λ2 都很小,说明这片区域是平面。

b、当 R<0时,是因为 λ1 >> λ2 或者反过来(其中一个远大于另外一个),此时区域是边。

c、当 R较大时,是因为 λ1 λ2 都较大,且 λ1λ2,此时这片区域应为角。

它可以用下图来表示:

image.png

所以哈里斯角点检测算法的结果,是一个带着这些得分的灰度图像,使用一个合适的阈值,就能给到我们图中的角点。我们用一个简单的图像来做一下实验。

OpenCV中的哈里斯角点检测

我们来看一下OpenCV中的函数原型:

dst=cv.cornerHarrissrcblockSizeksizek [dst [borderType]]

img - 输入图像,它应该是灰度图像,且是 float32 类型的。

blockSize - 它是检测拐角时所考虑的邻域大小。

ksize - 在应用索贝尔算法时使用的孔径参数。

k - 方程中哈里斯检测器的自由参数。

我们来看代码:

import numpy as np
import cv2 as cv
filename = 'chessboard.png'
img = cv.imread(filename)
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
gray = np.float32(gray)
dst = cv.cornerHarris(gray,2,3,0.04)
#result is dilated for marking the corners, not important
dst = cv.dilate(dst,None)
# Threshold for an optimal value, it may vary depending on the image.
img[dst>0.01*dst.max()]=[0,0,255]
cv.imshow('dst',img)
if cv.waitKey(0) & 0xff == 27:
    cv.destroyAllWindows()

来看结果:

image.png

有时,我们可能需要找到最准确的角点。OpenCV 有一个函数 cv.cornerSubPix() ,它进一步细化检测到的角的亚像素精度。以下是一个示例。通常,我们还是要先找到哈里斯角。然后我们通过这些角的质心(在一个角上可能有一堆像素,我们取它们的质心)来细化它们。哈里斯角用红色像素标记,而细化之后的角用绿色像素标记。对于这个函数,我们必须定义何时停止迭代的条件。我们在指定的迭代次数之后停止它,或者达到了一定的精度,以最先发生的为准。我们还需要定义它将搜索角落的邻居的大小:

import numpy as np
import cv2 as cv
filename = 'chessboard2.jpg'
img = cv.imread(filename)
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
# find Harris corners
gray = np.float32(gray)
dst = cv.cornerHarris(gray,2,3,0.04)
dst = cv.dilate(dst,None)
ret, dst = cv.threshold(dst,0.01*dst.max(),255,0)
dst = np.uint8(dst)
# find centroids
ret, labels, stats, centroids = cv.connectedComponentsWithStats(dst)
# define the criteria to stop and refine the corners
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 100, 0.001)
corners = cv.cornerSubPix(gray,np.float32(centroids),(5,5),(-1,-1),criteria)
# Now draw them
res = np.hstack((centroids,corners))
res = np.int0(res)
img[res[:,1],res[:,0]]=[0,0,255]
img[res[:,3],res[:,2]] = [0,255,0]
cv.imwrite('subpixel5.png',img)

以下是结果,其中一些重要的位置显示在缩放窗口中进行可视化:

image.png




工程师
2020-07-26 22:58:58    评分
2楼

讲解的是真的不错



共2条 1/1 1 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]