支持向量機(jī)原理(一) 線性支持向量機(jī)

           支持向量機(jī)原理(二) 線性支持向量機(jī)的軟間隔最大化模型

支持向量機(jī)原理(三)線性不可分支持向量機(jī)與核函數(shù)

支持向量機(jī)原理(四)SMO算法原理(待填坑)

支持向量機(jī)原理(五)線性支持回歸(待填坑)


在前面兩篇我們講到了線性可分SVM的硬間隔最大化和軟間隔最大化的算法，它們對(duì)線性可分的數(shù)據(jù)有很好的處理，但是對(duì)完全線性不可分的數(shù)據(jù)沒有辦法。本文我們就來探討SVM如何處理線性不可分的數(shù)據(jù)，重點(diǎn)講述核函數(shù)在SVM中處理線性不可分?jǐn)?shù)據(jù)的作用。

1. 回顧多項(xiàng)式回歸

在線性回歸原理小結(jié)中，我們講到了如何將多項(xiàng)式回歸轉(zhuǎn)化為線性回歸。

比如一個(gè)只有兩個(gè)特征的p次方多項(xiàng)式回歸的模型：

hθ(x1,x2)=θ0+θ1x1+θ2x2+θ3x21+θ4x22+θ5x1x2hθ(x1,x2)=θ0+θ1x1+θ2x2+θ3x12+θ4x22+θ5x1x2

我們令x0=1,x1=x1,x2=x2,x3=x21,x4=x22,x5=x1x2x0=1,x1=x1,x2=x2,x3=x12,x4=x22,x5=x1x2 ,這樣我們