常見圖像和視頻分割方法概述

圖像與視頻分割是指按照一定的原則將圖像或視頻序列分為若干個特定的、具有獨特性質(zhì)的部分或子集，并提取出感興趣的目標(biāo)，便于更高層次的分析和理解，因此圖像與視頻分割是目標(biāo)特征提取、識別與跟蹤的基礎(chǔ)。

1）、基于邊緣的分割方法

2）、基于閾值的分割方法

3）、基于區(qū)域的分割方法

4）、基于形態(tài)學(xué)分水嶺的分割方法

5）、基于聚類的分割方法

6）、基于圖論的分割方法

7）、基于偏微分的分割方法

8）、基于融合的分割方法

視頻分割方法主要包括：

9）、基于時域的視頻對象分割方法

10）、基于運動的視頻對象分割方法

11）、交互式視頻對象分割方法

一、基于邊緣的分割方法

理論基礎(chǔ)：圖像的邊緣是圖像的最基本特征，是圖像局部特性不連續(xù)（突變）的結(jié)果，是不同區(qū)域的分界處，因此它是圖像分割所依賴的重要特征。

基本思想：通過搜索不同區(qū)域之間的邊界，來完成圖像的分割。

具體做法：首先利用合適的邊緣檢測算子（通常用求導(dǎo)數(shù)方法來檢測，一般采用一階導(dǎo)數(shù)和二階導(dǎo)數(shù)檢測邊緣）提取出待分割場景不同區(qū)域的邊界，然后對邊界內(nèi)的像素進行連通和標(biāo)注，從而構(gòu)成分割區(qū)域。

常見的邊緣檢測算子有一階微分算子和二階微分算子。Prewitt、Roberts、Sobel是基于一階導(dǎo)數(shù)的邊緣檢測算子，Laplacian和LOG是基于二階導(dǎo)數(shù)的邊緣檢測算子，檢測方法是采用小區(qū)域模板與圖像做卷積運算求導(dǎo)數(shù)，然后選取合適的閾值提取邊緣，這些邊緣檢測算子的區(qū)別主要在于所采用的模板和元素系數(shù)的不同。目前最常用的邊緣檢測算子是Kirsch算子、LOG（Laplacian-Gauss）算子和Canny算子。

基于邊緣的分割方法的關(guān)鍵在于邊緣檢測算子的選取。

二、基于閾值的分割方法

理論基礎(chǔ)：目標(biāo)或背景內(nèi)部的相鄰像素間灰度值是相似的，但是不同目標(biāo)或背景上像素灰度差異較大，反映在直方圖上就是不同目標(biāo)或背景對應(yīng)不同的峰，分割時，選取的閾值應(yīng)位于直方圖兩個不同峰之間的谷上，以便將各個峰分開。

基本思想：通過閾值來定義圖像中不同目標(biāo)的區(qū)域歸屬。

具體做法：首先在圖像的灰度取值范圍內(nèi)選擇一灰度閾值，然后將圖像中的各個像素的灰度值與這個閾值相比較，并根據(jù)比較的結(jié)果將圖像中的像素劃分到兩類中，若圖像中有多個灰度值不同的區(qū)域，那么可以選擇一系列的閾值以便將每一個像素分到合適的類別中去。

目前有多種閾值選擇方法，依照閾值的應(yīng)用范圍可將閾值分割方法分為全局閾值法、局部閾值法和動態(tài)閾值法三大類。

基于閾值的分割方法的關(guān)鍵在于灰度圖閾值大小的選取。

三、基于區(qū)域的分割方法

理論基礎(chǔ)：與“基于閾值的分割方法”的理論基礎(chǔ)基本一致，都是利用同一物體區(qū)域內(nèi)像素灰度的相似性。

基本思想：將灰度相似的區(qū)域合并，把不相似的區(qū)域分開，最終形成不同的分割區(qū)域。

具體做法：利用同一物體區(qū)域內(nèi)像素灰度的相似性，將灰度相似的區(qū)域合并，把不相似的區(qū)域分開，最終形成不同的分割區(qū)域。

常見的區(qū)域分割方法有區(qū)域生長法、分裂合并法等。

種子區(qū)域生長法是從一組代表不同生長區(qū)域的種子像素開始，接下來將種子像素鄰域里符合條件的像素合并到種子像素所代表的生長區(qū)域中，并將新添加的像素作為新的種子像素繼續(xù)合并過程，直到找不到符合條件的新像素為止。該方法的關(guān)鍵是選擇合適的初始種子像素以及合理的生長準(zhǔn)則。

區(qū)域分裂合并法（Gonzalez，2002）的基本思想是首先將圖像任意分成若干互不相交的區(qū)域，然后再按照相關(guān)準(zhǔn)則對這些區(qū)域進行分裂或者合并從而完成分割任務(wù)，該方法既適用于灰度圖像分割也適用于紋理圖像分割。

四、基于形態(tài)學(xué)分水嶺的分割方法

理論基礎(chǔ)：分水嶺分割（Watershed）法（Meyer，1990）是一種基于拓?fù)淅碚摰臄?shù)學(xué)形態(tài)學(xué)的分割方法。

基本思想：把圖像看作是測地學(xué)上的拓?fù)涞孛玻瑘D像中每一點像素的灰度值表示該點的海拔高度，每一個局部極小值及其影響區(qū)域稱為集水盆，而集水盆的邊界則形成分水嶺。

具體做法：該算法的實現(xiàn)可以模擬成洪水淹沒的過程，圖像的最低點首先被淹沒，然后水逐漸淹沒整個山谷。當(dāng)水位到達(dá)一定高度的時候?qū)绯?，這時在水溢出的地方修建堤壩，重復(fù)這個過程直到整個圖像上的點全部被淹沒，這時所建立的一系列堤壩就成為分開各個盆地的分水嶺。

分水嶺算法對微弱的邊緣有著良好的響應(yīng)，但圖像中的噪聲會使分水嶺算法產(chǎn)生過分割的現(xiàn)象。

五、基于聚類的分割方法

理論基礎(chǔ)：圖像分割就是圖像中的像素進行分類。

基本思想：圖像分割就是將圖像的像素進行分類，于是，很自然的將聚類應(yīng)用于圖像分割問題中。

具體做法：給出一個目標(biāo)函數(shù)，使得聚類過程中，目標(biāo)函數(shù)達(dá)到最小為止。

目前常見的基于聚類的分割方法主要有：C-均值聚類分割算法（HCM）、模糊C-均值聚類分割算法（FCM）。FCM聚類是HCM的改進，其區(qū)別主要在于：HCM算法對于對象的劃分是硬性的，而FCM則是一種柔性的模糊劃分；FCM模糊聚類算法的向量可以同時屬于多個聚類，用0~1間的隸屬度來確定每個對象屬于各個類的程度，而HCM聚類算法中，一個給定的對象只能屬于一個類。

六、基于圖論的分割方法

理論基礎(chǔ)：圖論中無向圖的最優(yōu)化問題。

基本思想：將圖像映射為帶權(quán)無向圖，將像素點當(dāng)作圖的節(jié)點，利用最小剪切準(zhǔn)則得到圖像的最佳分割，即：把圖像分割問題轉(zhuǎn)化為一個無向圖G=（V,E）的最優(yōu)化問題。

具體做法：無向圖中的節(jié)點表示圖像中的像素，節(jié)點與節(jié)點之間的邊表示像素之間的關(guān)系，根據(jù)一定的規(guī)則為每條邊賦予一個權(quán)值，利用一定的最優(yōu)化準(zhǔn)則使分割結(jié)果中區(qū)域內(nèi)的邊有較低的權(quán)值，區(qū)域間的邊有較高的權(quán)值，即區(qū)域之間的代價函數(shù)最小的劃分便是該圖最優(yōu)的分割。

基于圖論分割的基本原則是使劃分成的兩個區(qū)域（A,B）的內(nèi)部相似度最大，區(qū)域（A,B）之間的相似度最小，同時應(yīng)使得劃分的區(qū)域盡量避免出現(xiàn)歪斜分割。為了能夠得到精確的分割結(jié)果，設(shè)計割集準(zhǔn)則至關(guān)重要，常見的割集準(zhǔn)則有Minimum Cut、Average Cut、Normalize Cut、Min-max Cut、Ratio Cut等。

七、基于偏微分的分割方法

理論基礎(chǔ)：偏微分方程在圖像分割領(lǐng)域的應(yīng)用。

基本思想：該類方法主要指的是活動輪廓模型（active contour model）以及在其基礎(chǔ)上發(fā)展出來的算法，其基本思想是使用連續(xù)曲線來表達(dá)目標(biāo)邊緣，并定義一個能量泛函使得其自變量包括邊緣曲線，因此分割過程就轉(zhuǎn)變?yōu)榍蠼饽芰糠汉淖钚≈档倪^程，一般可通過求解函數(shù)對應(yīng)的歐拉(Euler．Lagrange)方程來實現(xiàn)，能量達(dá)到最小時的曲線位置就是目標(biāo)的輪廓所在。

具體做法：該模型是一種基于能量的圖像分割方法，其能量函數(shù)為基于曲線的內(nèi)部能量和基于圖像數(shù)據(jù)外部能量的加權(quán)和，通過極小化該能量泛函使得待分割目標(biāo)周圍的一條初始曲線在固有內(nèi)力和圖像外力的共同作用下不斷演化，最終收斂到目標(biāo)的邊界輪廓。

按照模型中曲線表達(dá)形式的不同，活動輪廓模型可以分為兩大類：參數(shù)活動輪廓模型（parametric active contour model）和幾何活動輪廓模型（geometric active contour model）。

注：活動輪廓模型又稱為Snakes分割方法。

參數(shù)活動輪廓模型是基于Lagrange框架，直接以曲線的參數(shù)化形式來表達(dá)曲線，最具代表性的是由Kasseta1(1987)所提出的Snake模型。該類模型在早期的生物圖像分割領(lǐng)域得到了成功的應(yīng)用，但其存在著分割結(jié)果受初始輪廓的設(shè)置影響較大以及難以處理曲線拓?fù)浣Y(jié)構(gòu)變化等缺點，此外其能量泛函只依賴于曲線參數(shù)的選擇，與物體的幾何形狀無關(guān)，這也限制了其進一步的應(yīng)用。

幾何活動輪廓模型的曲線運動過程是基于曲線的幾何度量參數(shù)而非曲線的表達(dá)參數(shù)，因此可以較好地處理拓?fù)浣Y(jié)構(gòu)的變化，并可以解決參數(shù)活動輪廓模型難以解決的問題。而水平集（Level Set）方法（Osher，1988）的引入，則極大地推動了幾何活動輪廓模型的發(fā)展，因此幾何活動輪廓模型一般也可被稱為水平集方法。

八、基于融合的分割方法

理論基礎(chǔ)：多特征更能精確地描述一個物體的特征。

基本思想：采用紋理和灰度兩種特征對圖像進行描述，并通過動態(tài)融合的策略生成一張綜合特征圖，使之更能準(zhǔn)確的反映圖像信息，有利于進行后續(xù)的圖像分割過程。

具體做法：第一階段為特征提取部分，用紋理和灰度來描述一副輸入圖像；第二階段為綜合特征圖像融合，將不同特征的特征圖融合成一張綜合的特征圖；第三階段為圖像分割過程，根據(jù)綜合特征圖進行圖像分割。

多特征動態(tài)融合的圖像分割主要是針對目標(biāo)的紋理比背景復(fù)雜，目標(biāo)的亮度比背景高這種類型的灰度圖像，采用紋理和灰度兩種特征對圖像進行描述，并通過動態(tài)融合的策略生成一張綜合特征圖，使之更能準(zhǔn)確的反映圖像信息，有利于進行后續(xù)的圖像分割過程。

九、基于時域的視頻對象分割方法

理論基礎(chǔ)：同一物體的各部分往往具有一致的時間屬性。

基本思想：時域分割主要是利用視頻圖像相鄰之間的連續(xù)性和相關(guān)性進行分割。

具體做法：一種是通過當(dāng)前幀和背景幀相減來獲得差分圖像，另外一種是利用兩幀之間或者多幀之間的差來獲得差分圖像。

基于時域的視頻對象分割方法主要包括：背景差分法、幀間差分法。

十、基于運動的視頻對象分割方法

理論基礎(chǔ)：光流場與參數(shù)估計方面的理論知識。

基本思想：主要是基于光流場等方法進行運動參數(shù)估計，求出符合運動模型的像素區(qū)域，進而合并區(qū)域構(gòu)成運動對象進行視頻分割。

具體做法：首先求出光流場并進行參數(shù)估計，接著求出符合運動模型的像素區(qū)域，最后合并區(qū)域構(gòu)成運動對象進行視頻分割。

基于運動的視頻對象分割方法主要包括：光流法、參數(shù)化方法。

【補充小知識】：當(dāng)人的眼睛與被觀察的物體發(fā)生相對運動時，物體的影像在視網(wǎng)膜平面上形成一系列連續(xù)變化的圖像，這一系列的圖像信息不斷“流過”視網(wǎng)膜，好像是一種光的“流”，所以被稱為“光流”。光流是基于像素定義的，所有的光流的集合稱為光流場。

十一、交互式視頻對象分割方法

理論基礎(chǔ)：人工監(jiān)督與用戶交互。

基本思想：交互式分割中，用戶通過圖形用戶界面對視頻圖像進行初始分割，然后對后繼幀利用基于運動和空間的信息進行分割。

具體做法：第一步是用戶通過鼠標(biāo)描繪出視頻分割的大致輪廓，第二步再利用視頻分割算法進行視頻分割。

基于交互式視頻對象分割方法主要包括：按被分割對象的性質(zhì)進行跟蹤；基于變化檢測的方法；基于形態(tài)學(xué)算法的交互式視頻分割方法等。在不要求實時性但是對視頻邊界分割精度要求較高的場合，交互式分割法的效果比較好。這種方法主要用于節(jié)目制作等應(yīng)用，對于實時應(yīng)用場合如視頻會議則無能為力。