在集成學(xué)習(xí)原理小結(jié)中，我們講到了集成學(xué)習(xí)按照個(gè)體學(xué)習(xí)器之間是否存在依賴關(guān)系可以分為兩類，第一個(gè)是個(gè)體學(xué)習(xí)器之間存在強(qiáng)依賴關(guān)系，另一類是個(gè)體學(xué)習(xí)器之間不存在強(qiáng)依賴關(guān)系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboost是最著名的算法之一。Adaboost既可以用作分類，也可以用作回歸。本文就對(duì)Adaboost算法做一個(gè)總結(jié)。

1. 回顧boosting算法的基本原理

　　　　在集成學(xué)習(xí)原理小結(jié)中，我們已經(jīng)講到了boosting算法系列的基本思想，如下圖：

　　　　從圖中可以看出，Boosting算法的工作機(jī)制是首先從訓(xùn)練集用初始權(quán)重訓(xùn)練出一個(gè)弱學(xué)習(xí)器1，根據(jù)弱學(xué)習(xí)的學(xué)習(xí)誤差率表現(xiàn)來更新訓(xùn)練樣本的權(quán)重，使得之前弱學(xué)習(xí)器1學(xué)習(xí)誤差率高的訓(xùn)練樣本點(diǎn)的權(quán)重變高，使得這些誤差率高的點(diǎn)在后面的弱學(xué)習(xí)器2中得到更多的重視。然后基于調(diào)整權(quán)重后的訓(xùn)練集來訓(xùn)練弱學(xué)習(xí)器2.，如此重復(fù)進(jìn)行，直到弱學(xué)習(xí)器數(shù)達(dá)到事先指定的數(shù)目T，最終將這T個(gè)弱學(xué)習(xí)器通過集合策略進(jìn)行整合，得到最終的強(qiáng)學(xué)習(xí)器?！　?/p>

　　　　不過有幾個(gè)具體的問題Boosting算法沒有詳細(xì)說明。

　　　　1）如何計(jì)算學(xué)習(xí)誤差率e?

　　　　2) 如何得到弱學(xué)習(xí)器權(quán)重系數(shù)

網(wǎng)友評(píng)論