SVM數(shù)學(xué)知識(shí)具體參考：

https://blog.csdn.net/zhangping1987/article/details/21931663

數(shù)學(xué)知識(shí)補(bǔ)充

對于線性可分的超平面

既然能線性可分，那么就有超平面(向量化表示)將這數(shù)據(jù)集分開，使得一側(cè)是“ 1”類，另一側(cè)是“-1類”。

第一個(gè)知識(shí)點(diǎn)：已知超平面和數(shù)據(jù)集，哪個(gè)一點(diǎn)離這條超平面最近，答案：哪一個(gè)點(diǎn)使得最小，哪一點(diǎn)離這個(gè)超平面最近

第二個(gè)知識(shí)點(diǎn)：已知超平面和點(diǎn)x，，那么這個(gè)點(diǎn)到這個(gè)超平面的距離為：,向量表示法為

對于SVM的描述

參考《統(tǒng)計(jì)學(xué)習(xí)方法》以及https://www.cnblogs.com/pinard/p/6097604.html

SVM分為線性可分支持向量機(jī)，線性向量機(jī)和非線性支持向量機(jī)。當(dāng)訓(xùn)練數(shù)據(jù)可分時(shí)，通過硬間隔最大化，學(xué)習(xí)一個(gè)線性的分類器，即線性可分支持向量機(jī)，又稱為硬間隔支持向量機(jī)，當(dāng)訓(xùn)練數(shù)據(jù)近似線性可分時(shí)，通過軟間隔最大化，也學(xué)習(xí)一個(gè)線性的分類器，即線性支持向量機(jī)，又稱為軟間隔支持向量機(jī)，當(dāng)訓(xùn)練數(shù)據(jù)線性不可分時(shí)，通過使用核技巧及軟間隔最大化，學(xué)習(xí)非線性支持向量機(jī)。

當(dāng)輸入空間為歐式空間或離散集合、特征空間為希爾伯特空間時(shí)，核函數(shù)表示將輸入從輸入空間映射到特征空間得到的特征向量之間的內(nèi)積，通過使用核函數(shù)可以學(xué)習(xí)非線性支持向量機(jī)，等價(jià)于隱式地在高維的特征空間中學(xué)習(xí)線性支持向量機(jī)，這樣的方法稱為核技巧。

1)線性可分支持向量機(jī)又稱為硬間隔支持向量機(jī)（一般處理的是二分類問題，）它處理的是數(shù)據(jù)集線性可分的情況，既然線性可分則必然存在超平面能夠把數(shù)據(jù)分為正負(fù)兩類，但是這種超平面會(huì)有很多，這就需要考慮選取出能使得訓(xùn)練出來的模型泛化能力最強(qiáng)的超平面。也就是說對于誤分類點(diǎn)的容錯(cuò)性更好。這時(shí)又需要考慮哪些點(diǎn)最容易被誤分類，顯然離超平面越近的點(diǎn)越容易被誤分類，如果離超平面最近的點(diǎn)都能被正確分類那么遠(yuǎn)的點(diǎn)就必然會(huì)被正確分類。因此所選的超平面應(yīng)該盡量使得數(shù)據(jù)集離超平面的最小距離最大化，這樣模型才擁有最好的泛化能力。離超平面最小的距離為故則有:

最終表示為

這是硬間隔支持向量機(jī)用以代表線性可分的支持向量機(jī)模型。其中y為類別標(biāo)簽。離超平面最近的正負(fù)類中的這些點(diǎn)被稱為支持向量。分離超平面為wTx b=0，所有的樣本不光可以被超平面分開，還和超平面保持一定的函數(shù)距離（下圖函數(shù)距離為1），那么這樣的分類超平面是比感知機(jī)的分類超平面優(yōu)的。可以證明，這樣的超平面只有一個(gè)。和超平面平行的保持一定的函數(shù)距離的這兩個(gè)超平面對應(yīng)的向量，我們定義為支持向量，支持向量所在的超平面定義為wTx b=-1和wTx b=1.注意這里為什么是 -1？實(shí)際上，支持向量只是到中間那個(gè)平面距離最近的點(diǎn)。wx b=y，其中y只用比非支持向量的y要小就行了。而題主說為什么y是1，因?yàn)槿绻殉矫鎤x b=y這個(gè)式子的每一項(xiàng)除以y，那么雖然值都變了，但平面還是這個(gè)平面，也就是說有一系列的w和b表示這個(gè)平面，那我們需要固定某一個(gè)值。在svm的求解過程中，需固定y=1，然后轉(zhuǎn)化成二次規(guī)劃去求解。就是說，直接固定支持向量到分類超平面的距離為1。因?yàn)槿绻皇?-1的話，假設(shè)為某個(gè)數(shù)r,左右兩邊同除以r,右邊就為 -1了,然后左邊的結(jié)果用w和b替代。所以到底是正負(fù)幾并不重要。

2)線性支持向量機(jī)，又稱為軟間隔支持向量機(jī)

對于數(shù)據(jù)本是線性可分的但是存在異常點(diǎn)的情況，使得硬間隔支持向量機(jī)不能很好的確定劃分?jǐn)?shù)據(jù)的超平面，這時(shí)應(yīng)該用軟間隔支持向量機(jī)。

3)非線性支持向量機(jī)

1.核函數(shù)與常用的核函數(shù)

我們遇到線性不可分的樣例時(shí)，常用做法是把樣例特征映射到高維空間中去(如上一節(jié)的多項(xiàng)式回歸）但是遇到線性不可分的樣例，一律映射到高維空間，那么這個(gè)維度大小是會(huì)高到令人恐怖的。此時(shí)，核函數(shù)就體現(xiàn)出它的價(jià)值了，核函數(shù)的價(jià)值在于它雖然也是將特征進(jìn)行從低維到高維的轉(zhuǎn)換，但核函數(shù)好在它在低維上進(jìn)行計(jì)算，而將實(shí)質(zhì)上的分類效果（利用了內(nèi)積）表現(xiàn)在了高維上，這樣避免了直接在高維空間中的復(fù)雜計(jì)算，真正解決了SVM線性不可分的問題。即為把輸入空間中的內(nèi)積變換成了特征空間中的內(nèi)積，把轉(zhuǎn)換成了核函數(shù)。

2,常用的核函數(shù)（也是sklearn中可選的核函數(shù)）

第一、線性核函數(shù)。第二、多項(xiàng)式核函數(shù)。第三、高斯核函數(shù)在SVM中也稱為徑向基核函數(shù)（Radial Basis Function,RBF），它是非線性分類SVM最主流的核函數(shù)。libsvm默認(rèn)的核函數(shù)就是它。第四、Sigmoid核函數(shù)