EEPW论坛

OpenCV-Python系列之图像分割与Watershed算法

本次我们来看图像分割，同样也是OpenCV中较为重要的一个部分。图像分割是按照一定的原则，将一幅图像分为若干个互不相交的小局域的过程，它是图像处理中最为基础的研究领域之一。目前有很多图像分割方法，其中分水岭算法是一种基于区域的图像分割算法，分水岭算法因实现方便，已经在医疗图像，模式识别等领域得到了广泛的应用。

传统分水岭算法基本原理

分水岭比较经典的计算方法是L．Vincent于1991年在PAMI上提出的[1]。传统的分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆地，而集水盆地的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸人水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝如下图所示，即形成分水岭。我们来看传统分水岭算法示意图：

然而基于梯度图像的直接分水岭算法容易导致图像的过分割，产生这一现象的原因主要是由于输入的图像存在过多的极小区域而产生许多小的集水盆地，从而导致分割后的图像不能将图像中有意义的区域表示出来。所以必须对分割结果的相似区域进行合并。

改进的分水岭算法基本原理

因为传统的分水岭分割算法会由于图像中的噪声或其他不规则性而产生过度分割的结果。因此OpenCV实现了一个基于标记的分水岭算法，可以指定哪些是要合并的山谷点，哪些不是。这是一个交互式的图像分割。我们所做的是给我们知道的对象赋予不同的标签。用一种颜色(或强度)标记我们确定为前景或对象的区域，用另一种颜色标记我们确定为背景或非对象的区域，最后用0标记我们不确定的区域。这是我们的标记。然后应用分水岭算法。然后我们的标记将使用我们给出的标签进行更新，对象的边界值将为-1。传统的基于梯度的分水岭算法和改进后基于标记的分水岭算法示意图如下图所示：

从上图可以看出，传统基于梯度的分水岭算法由于局部最小值过多造成分割后的分水岭较多。而基于标记的分水岭算法，水淹过程从预先定义好的标记图像（像素）开始，较好的克服了过度分割的不足。本质上讲，基于标记点的改进算法是利用先验知识来帮助分割的一种方法。因此，改进算法的关键在于如何获得准确的标记图像，即如何将前景物体与背景准确的标记出来。

OpenCV中的图像分割

OpenCV提供了相关的函数API进行分水岭分割操作，我们来看函数原型：
    markers=cv.watershed(image, markers)

image：输入8位3通道图像。

markers：标记的输入/输出32位单通道图像（图）。 它的大小应与image相同。

我们使用示例图像：

首先我们使用Otsu的二值化找到硬币的近似估计值：

def watershed(img):
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    ret, thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)

    cv2.imshow('show', thresh)
    cv2.waitKey(0)

现在我们需要去除图像中的任何小的白噪声,因此我们要使用形态学开运算,为了去除物体上的小洞，我们要使用形态学闭运算,所以，现在我们可以确定，靠近物体中心的区域是前景,远离物体的区域是背景,只有硬币的边界区域是我们不确定的区域.

我们需要提取出我们确信它们是硬币的区域,腐蚀边界像素，不管剩下的是什么，我们都可以确定它是硬币.如果它们不相互接触还可以继续，如果它们相互接触，另一个好的选择是找到距离变换并应用一个合适的阈值.

为此，我们对结果进行了扩张，扩张将对象边界增加为背景，通过这种方法，我们可以确保背景中的任何区域都是真正的背景，因为边界区域被移除.

剩下的区域是我们不知道的区域，无论是硬币还是背景.分水岭算法应该找到它， 这些区域通常围绕着前景和背景相遇的硬币边界（甚至两个不同的硬币相遇），它可以从sure_bg区域中减去sure_fg区域获得。

来看代码：

# noise removal
kernel = np.ones((3,3),np.uint8)
opening = cv2.morphologyEx(thresh,cv2.MORPH_OPEN,kernel, iterations = 2)
 
# sure background area
sure_bg = cv2.dilate(opening,kernel,iterations=3)
 
# Finding sure foreground area
dist_transform = cv2.distanceTransform(opening,cv.DIST_L2,5)
ret, sure_fg = cv2.threshold(dist_transform, 0.7*dist_transform.max(),255,0)
 
# Finding unknown region
sure_fg = np.uint8(sure_fg)
unknown = cv2.subtract(sure_bg,sure_fg)

我们看处理之后的图像，sure_bg：

sure_fg：

看一下处理之后的图像：

现在我们可以确定哪些是硬币的区域，哪些是背景，哪些是背景.因此，我们创建标记(它是一个与原始图像相同大小的数组，但使用int32数据类型)并对其内部的区域进行标记。

cv2.connectedComponents()

将图像的背景标记为0，然后其他对象从1开始标记为整数。

我们知道，如果背景是0，那么分水岭将会被认为是未知的区域, 所以我们用不同的整数来标记它,用0表示由未知定义的未知区域。

# Marker labelling
ret, markers = cv2.connectedComponents(sure_fg)
 
# Add one to all labels so that sure background is not 0, but 1
markers = markers+1
 
# Now, mark the region of unknown with zero
markers[unknown==255] = 0

标记已经准备好了,现在是最后一步的时候了，应用分水岭，最终代码：

def watershed(img):
     gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
     ret, thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)
 
     kernel = np.ones((3, 3), np.uint8)
     opening = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel, iterations=2)  # 
形态开运算
 
     sure_bg = cv2.dilate(opening, kernel, iterations=3)
 
     dist_transform = cv2.distanceTransform(opening, cv2.DIST_L2, 5)
     ret, sure_fg = cv2.threshold(dist_transform, 0.7 * dist_transform.max(), 255, 0)
 
     sure_fg = np.uint8(sure_fg)
     unknown = cv2.subtract(sure_bg, sure_fg)
 
     ret, markers = cv2.connectedComponents(sure_fg)
 
     markers = markers + 1
 
     markers[unknown == 255] = 0
 
     markers = cv2.watershed(img, markers)
     img[markers == -1] = [255, 0, 0]
 
     cv2.imshow('img', img)
     cv2.waitKey(0)

可以看到，最终结果显示完美分割。