支持向量機原理(一) 線性支持向量機

           支持向量機原理(二) 線性支持向量機的軟間隔最大化模型

支持向量機原理(三)線性不可分支持向量機與核函數(shù)

支持向量機原理(四)SMO算法原理(待填坑)

支持向量機原理(五)線性支持回歸(待填坑)


在前面兩篇我們講到了線性可分SVM的硬間隔最大化和軟間隔最大化的算法，它們對線性可分的數(shù)據(jù)有很好的處理，但是對完全線性不可分的數(shù)據(jù)沒有辦法。本文我們就來探討SVM如何處理線性不可分的數(shù)據(jù)，重點講述核函數(shù)在SVM中處理線性不可分數(shù)據(jù)的作用。

1. 回顧多項式回歸

在線性回歸原理小結(jié)中，我們講到了如何將多項式回歸轉(zhuǎn)化為線性回歸。

比如一個只有兩個特征的p次方多項式回歸的模型：

hθ(x1,x2)=θ0+θ1x1+θ2x2+θ3x21+θ4x22+θ5x1x2hθ(x1,x2)=θ0+θ1x1+θ2x2+θ3x12+θ4x22+θ5x1x2

我們令x0=1,x1=x1,x2=x2,x3=x21,x4=x22,x5=x1x2x0=1,x1=x1,x2=x2,x3=x12,x4=x22,x5=x1x2 ,這樣我們