支持向量機(jī)原理(二) 線性支持向量機(jī)的軟間隔最大化模型
支持向量機(jī)原理(三)線性不可分支持向量機(jī)與核函數(shù)(待填坑)
支持向量機(jī)原理(四)SMO算法原理(待填坑)
支持向量機(jī)原理(五)線性支持回歸(待填坑)
支持向量機(jī)(Support Vecor Machine,以下簡稱SVM)雖然誕生只有短短的二十多年，但是自一誕生便由于它良好的分類性能席卷了機(jī)器學(xué)習(xí)領(lǐng)域，并牢牢壓制了神經(jīng)網(wǎng)絡(luò)領(lǐng)域好多年。如果不考慮集成學(xué)習(xí)的算法，不考慮特定的訓(xùn)練數(shù)據(jù)集，在分類算法中的表現(xiàn)SVM說是排第一估計(jì)是沒有什么異議的。
SVM是一個(gè)二元分類算法，線性分類和非線性分類都支持。經(jīng)過演進(jìn)，現(xiàn)在也可以支持多元分類，同時(shí)經(jīng)過擴(kuò)展，也能應(yīng)用于回歸問題。本系列文章就對SVM的原理做一個(gè)總結(jié)。本篇的重點(diǎn)是SVM用于線性分類時(shí)模型和損失函數(shù)優(yōu)化的一個(gè)總結(jié)。
1. 回顧感知機(jī)模型
在感知機(jī)原理小結(jié)中，我們講到了感知機(jī)的分類原理，感知機(jī)的模型就是嘗試找到一條直線，能夠把二元數(shù)據(jù)隔離開。放到三維空間或者更高維的空間，感知機(jī)的模型就是嘗試找到一個(gè)超平面，能夠把所有的二元類別隔離開。對于這個(gè)分離的超平面，我們定義為wTx+b=0wTx+b=0，如下圖。在超平面wTx+b=0wTx+b=0上方的我們定義為y=1y=1,在超平面wTx+b=0wTx+b=0
延伸閱讀
學(xué)習(xí)是年輕人改變自己的最好方式