前面我們了解了決策樹(shù)和adaboost的決策樹(shù)墩的原理和實(shí)現(xiàn),在adaboost我們看到,用簡(jiǎn)單的決策樹(shù)墩的效果也很不錯(cuò),但是對(duì)于更多特征的樣本來(lái)說(shuō),可能需要很多數(shù)量的決策樹(shù)墩
或許我們可以考慮使用更加高級(jí)的弱分類器,下面我們看下CART(Classification And Regression Tree)的原理和實(shí)現(xiàn)吧
CART也是決策樹(shù)的一種,不過(guò)是滿二叉樹(shù),CART可以是強(qiáng)分類器,就跟決策樹(shù)一樣,但是我們可以指定CART的深度,使之成為比較弱的分類器
CART生成的過(guò)程和決策樹(shù)類似,也是采用遞歸劃分的,不過(guò)也存在很多的不同之處
數(shù)據(jù)集:第一列為樣本名稱,最后一列為類別,中間為特征
human constant hair true false false false true false mammal
python cold_blood scale false true false false false true reptile
salmon cold_blood scale false true false true false false fish
whale constant hair true false false true false false mammal
frog cold_blood none false true false sometime true true amphibious
lizard cold_blood scale false true false false true false reptile
bat constant hair true false true false true false mammal
cat constant skin true false false false true false mammal
shark cold_blood scale true false false true false false fish
turtle cold_blood scale false true false sometime true false reptile
pig constant bristle true false false false true true mammal
eel cold_blood scale false true false true false false fish
salamander cold_blood none false true false sometime true true amphibious