前面我們了解了決策樹和adaboost的決策樹墩的原理和實現(xiàn),在adaboost我們看到,用簡單的決策樹墩的效果也很不錯,但是對于更多特征的樣本來說,可能需要很多數(shù)量的決策樹墩
或許我們可以考慮使用更加高級的弱分類器,下面我們看下CART(Classification And Regression Tree)的原理和實現(xiàn)吧
CART也是決策樹的一種,不過是滿二叉樹,CART可以是強分類器,就跟決策樹一樣,但是我們可以指定CART的深度,使之成為比較弱的分類器
CART生成的過程和決策樹類似,也是采用遞歸劃分的,不過也存在很多的不同之處
數(shù)據(jù)集:第一列為樣本名稱,最后一列為類別,中間為特征
human constant hair true false false false true false mammal
python cold_blood scale false true false false false true reptile
salmon cold_blood scale false true false true false false fish
whale constant hair true false false true false false mammal
frog cold_blood none false true false sometime true true amphibious
lizard cold_blood scale false true false false true false reptile
bat constant hair true false true false true false mammal
cat constant skin true false false false true false mammal
shark cold_blood scale true false false true false false fish
turtle cold_blood scale false true false sometime true false reptile
pig constant bristle true false false false true true mammal
eel cold_blood scale false true false true false false fish
salamander cold_blood none false true false sometime true true amphibious