支持向量機原理(三)線性不可分支持向量機與核函數(shù)(待填坑)
支持向量機原理(四)SMO算法原理(待填坑)
支持向量機原理(五)線性支持回歸(待填坑)
支持向量機(Support Vecor Machine,以下簡稱SVM)雖然誕生只有短短的二十多年，但是自一誕生便由于它良好的分類性能席卷了機器學(xué)習(xí)領(lǐng)域，并牢牢壓制了神經(jīng)網(wǎng)絡(luò)領(lǐng)域好多年。如果不考慮集成學(xué)習(xí)的算法，不考慮特定的訓(xùn)練數(shù)據(jù)集，在分類算法中的表現(xiàn)SVM說是排第一估計是沒有什么異議的。
SVM是一個二元分類算法，線性分類和非線性分類都支持。經(jīng)過演進，現(xiàn)在也可以支持多元分類，同時經(jīng)過擴展，也能應(yīng)用于回歸問題。本系列文章就對SVM的原理做一個總結(jié)。本篇的重點是SVM用于線性分類時模型和損失函數(shù)優(yōu)化的一個總結(jié)。
1. 回顧感知機模型
在感知機原理小結(jié)中，我們講到了感知機的分類原理，感知機的模型就是嘗試找到一條直線，能夠把二元數(shù)據(jù)隔離開。放到三維空間或者更高維的空間，感知機的模型就是嘗試找到一個超平面，能夠把所有的二元類別隔離開。對于這個分離的超平面，我們定義為wTx+b=0wTx+b=0，如下圖。在超平面wTx+b=0wTx+b=0上方的我們定義為y=1y=1,在超平面wTx+b=0wTx+b=0
網(wǎng)友評論
