前面我們了解了決策樹和adaboost的決策樹墩的原理和實現(xiàn),在adaboost我們看到,用簡單的決策樹墩的效果也很不錯,但是對于更多特征的樣本來說,可能需要很多數(shù)量的決策樹墩

或許我們可以考慮使用更加高級的弱分類器,下面我們看下CART(Classification And Regression Tree)的原理和實現(xiàn)吧

CART也是決策樹的一種,不過是滿二叉樹,CART可以是強分類器,就跟決策樹一樣,但是我們可以指定CART的深度,使之成為比較弱的分類器

CART生成的過程和決策樹類似,也是采用遞歸劃分的,不過也存在很多的不同之處

數(shù)據(jù)集:第一列為樣本名稱,最后一列為類別,中間為特征

復制代碼
human    constant    hair    true    false    false    false    true    false    mammal
python    cold_blood    scale    false    true    false    false    false    true    reptile
salmon    cold_blood    scale    false    true    false    true    false    false    fish
whale    constant    hair    true    false    false    true    false    false    mammal
frog    cold_blood    none    false    true    false    sometime    true    true    amphibious
lizard    cold_blood    scale    false    true    false    false    true    false    reptile
bat    constant    hair    true    false    true    false    true    false    mammal
cat    constant    skin    true    false    false    false    true    false    mammal
shark    cold_blood    scale    true    false    false    true    false    false    fish
turtle    cold_blood    scale    false    true    false    sometime    true    false    reptile
pig    constant    bristle    true    false    false    false    true    true    mammal
eel    cold_blood    scale    false    true    false    true    false    false    fish
salamander    cold_blood    none    false    true    false    sometime    true    true    amphibious