EEPW论坛

OpenCV-Python系列之哈里斯角检测

我们在上次简述了OpenCV的特征基础原理，本次我们将步入实战部分，开始进行特征的初阶检测。

原理

在上一个教程中，我们知道了角点是图像中向任意方向发生改变时，都引起图像强烈变动的区域。Chris Harris 和 Mike Stephens 在他们1988年的论文 A Combined Corner and Edge Detector 中，做了早期的尝试，尝试找出这些角点。因此现在这个算法被称为哈里斯角点检测。他把这个简单的想法变成了数学的形式。它基本上求出了位移(u,v)在各个方向上的强度差，这表示如下：

窗口函数可以是一个矩形窗口，也可以是一个给与它覆盖像素权重的高斯窗口。

为了要做角点检测，我们需要令这个函数 E(u,v) 最大。也就是说二元函数求极限的时间到了。将泰勒展开应用于上述方程，我们可以对下面函数进行一阶展开：

那么：

所以E(u,v)表达式可以更新为：

其中：

在此，Ix 和 Iy 分别是x 和 y方向上图像的导数。(可以被简单用索贝尔函数算出来 cv.Sobel())。(译者注，M其实就是梯度的协方差矩阵)

然后进入主要的正题。做完这个步骤之后，创建了一个得分函数，基本上就是一个等式，它将决定一个窗口是否包含一个角。

其中：

1、

2、

3、λ1 和 λ2 是M的特征值

然后，这些特征值决定了一个区域是角、边还是平面。

a、当 |R| 较小时，是因为 λ1 和 λ2 都很小，说明这片区域是平面。

b、当 R<0时，是因为 λ1 >> λ2 或者反过来(其中一个远大于另外一个)，此时区域是边。

c、当 R较大时，是因为 λ1 和 λ2 都较大，且 λ1∼λ2，此时这片区域应为角。

它可以用下图来表示：

所以哈里斯角点检测算法的结果，是一个带着这些得分的灰度图像，使用一个合适的阈值，就能给到我们图中的角点。我们用一个简单的图像来做一下实验。

OpenCV中的哈里斯角点检测

我们来看一下OpenCV中的函数原型：

dst=cv.cornerHarris（src，blockSize，ksize，k [，dst [，borderType]]）

img - 输入图像，它应该是灰度图像，且是 float32 类型的。

blockSize - 它是检测拐角时所考虑的邻域大小。

ksize - 在应用索贝尔算法时使用的孔径参数。

k - 方程中哈里斯检测器的自由参数。

我们来看代码：

import numpy as np
import cv2 as cv
filename = 'chessboard.png'
img = cv.imread(filename)
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
gray = np.float32(gray)
dst = cv.cornerHarris(gray,2,3,0.04)
#result is dilated for marking the corners, not important
dst = cv.dilate(dst,None)
# Threshold for an optimal value, it may vary depending on the image.
img[dst>0.01*dst.max()]=[0,0,255]
cv.imshow('dst',img)
if cv.waitKey(0) & 0xff == 27:
    cv.destroyAllWindows()

来看结果：

有时，我们可能需要找到最准确的角点。OpenCV 有一个函数 cv.cornerSubPix() ，它进一步细化检测到的角的亚像素精度。以下是一个示例。通常，我们还是要先找到哈里斯角。然后我们通过这些角的质心(在一个角上可能有一堆像素，我们取它们的质心)来细化它们。哈里斯角用红色像素标记，而细化之后的角用绿色像素标记。对于这个函数，我们必须定义何时停止迭代的条件。我们在指定的迭代次数之后停止它，或者达到了一定的精度，以最先发生的为准。我们还需要定义它将搜索角落的邻居的大小：

import numpy as np
import cv2 as cv
filename = 'chessboard2.jpg'
img = cv.imread(filename)
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
# find Harris corners
gray = np.float32(gray)
dst = cv.cornerHarris(gray,2,3,0.04)
dst = cv.dilate(dst,None)
ret, dst = cv.threshold(dst,0.01*dst.max(),255,0)
dst = np.uint8(dst)
# find centroids
ret, labels, stats, centroids = cv.connectedComponentsWithStats(dst)
# define the criteria to stop and refine the corners
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 100, 0.001)
corners = cv.cornerSubPix(gray,np.float32(centroids),(5,5),(-1,-1),criteria)
# Now draw them
res = np.hstack((centroids,corners))
res = np.int0(res)
img[res[:,1],res[:,0]]=[0,0,255]
img[res[:,3],res[:,2]] = [0,255,0]
cv.imwrite('subpixel5.png',img)

以下是结果，其中一些重要的位置显示在缩放窗口中进行可视化：