前面我們了解了決策樹(shù)和adaboost的決策樹(shù)墩的原理和實(shí)現(xiàn),在adaboost我們看到,用簡(jiǎn)單的決策樹(shù)墩的效果也很不錯(cuò),但是對(duì)于更多特征的樣本來(lái)說(shuō),可能需要很多數(shù)量的決策樹(shù)墩

或許我們可以考慮使用更加高級(jí)的弱分類器,下面我們看下CART(Classification And Regression Tree)的原理和實(shí)現(xiàn)吧

CART也是決策樹(shù)的一種,不過(guò)是滿二叉樹(shù),CART可以是強(qiáng)分類器,就跟決策樹(shù)一樣,但是我們可以指定CART的深度,使之成為比較弱的分類器

CART生成的過(guò)程和決策樹(shù)類似,也是采用遞歸劃分的,不過(guò)也存在很多的不同之處

數(shù)據(jù)集:第一列為樣本名稱,最后一列為類別,中間為特征

復(fù)制代碼
human    constant    hair    true    false    false    false    true    false    mammal
python    cold_blood    scale    false    true    false    false    false    true    reptile
salmon    cold_blood    scale    false    true    false    true    false    false    fish
whale    constant    hair    true    false    false    true    false    false    mammal
frog    cold_blood    none    false    true    false    sometime    true    true    amphibious
lizard    cold_blood    scale    false    true    false    false    true    false    reptile
bat    constant    hair    true    false    true    false    true    false    mammal
cat    constant    skin    true    false    false    false    true    false    mammal
shark    cold_blood    scale    true    false    false    true    false    false    fish
turtle    cold_blood    scale    false    true    false    sometime    true    false    reptile
pig    constant    bristle    true    false    false    false    true    true    mammal
eel    cold_blood    scale    false    true    false    true    false    false    fish
salamander    cold_blood    none    false    true    false    sometime    true    true    amphibious

網(wǎng)友評(píng)論