SVM的主要思想可以概括為兩點(diǎn): (1) 它是針對(duì)線性可分情況進(jìn)行分析,對(duì)于線性不可分的情況,

                 通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分,從而

                 使得高維特征空間采用線性算法對(duì)樣本的非線性特征進(jìn)行線性分析成為可能; (2) 它基于結(jié)構(gòu)風(fēng)險(xiǎn)最小

                 化理論之上在特征空間中建構(gòu)最優(yōu)分割超平面,使得學(xué)習(xí)器得到全局最優(yōu)化,并且在整個(gè)樣本空間的期

                 望風(fēng)險(xiǎn)以某個(gè)概率滿足一定上界。

                          支持向量機(jī)的目標(biāo)就是要根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理,構(gòu)造一個(gè)目標(biāo)函數(shù)將兩類模式盡可能地區(qū)分開來,                  通常分為兩類情況來討論, (1) 線性可分,(2) 線性不可分。

                         1. 1 　線性可分情況

　　                   在線性可分的情況下,就會(huì)存在一個(gè)超平面使得訓(xùn)練樣本完全分開,該超平面可描述為:

                                                   w ·x + b = 0 (1) 　　

                 其中,“·”是點(diǎn)積, w 是n 維向量, b 為偏移量。

                       最優(yōu)超平面是使得每一類數(shù)據(jù)與超平面距離最近的向量與超平面之間的距離最大的這樣的平面.

                 最優(yōu)超平面可以通過解下面的二次優(yōu)化問題來獲得：

                    滿足約束條件：         , i = 1 ,2 ,3 ,......, n.            (3) 　　

                 在特征數(shù)目特別大的情況,可以將此二次規(guī)劃問題轉(zhuǎn)化為其對(duì)偶問題：

                                                          (4)

                                                                             (5)

                                                                              (6)

                    滿足約束條件:                                   (7)

                 這里 是Lagrange 乘子, 是最優(yōu)超平面的法向量, 是最優(yōu)超平面的偏移量,在這類

               優(yōu)化問題的求解與分析中, KKT條件將起到很重要的作用,在(7) 式中,其解必須滿足：

                                                               (8)

               從式(5) 可知,那些 = 0 的樣本對(duì)分類沒有任何作用,只有那些 > 0 的樣本才對(duì)分類起作用,這些樣

               本稱為支持向量,故最終的分類函數(shù)為：

                                                                (9)

               根據(jù)f ( x) 的符號(hào)來確定X 的歸屬。