• 電腦培訓(xùn),計(jì)算機(jī)培訓(xùn),平面設(shè)計(jì)培訓(xùn),網(wǎng)頁(yè)設(shè)計(jì)培訓(xùn),美工培訓(xùn),Web培訓(xùn),Web前端開(kāi)發(fā)培訓(xùn)

"爸爸,熊貓為什么是3個(gè)不是11個(gè)"

"寶貝,你還沒(méi)學(xué)二進(jìn)制好嗎....."

以上故事純屬虛構(gòu),真實(shí)的對(duì)話其實(shí)是這樣的

"爸爸, 為什么3比4小"

"寶貝，數(shù)一下就知道啦。你看豬豬有1,2,3. 3個(gè), 小鳥(niǎo)有1,2,3,4. 4個(gè).  你看小鳥(niǎo)是不是比豬豬多? 所以3比4小"

為什么我們要用十進(jìn)制?  我們當(dāng)然明白十進(jìn)制是為了把世界描述為在數(shù)學(xué)上大家統(tǒng)一使用的語(yǔ)言然后進(jìn)行溝通, 如果你用十進(jìn)制我用二進(jìn)制,那沒(méi)法溝通了是不?

決策樹(shù)用多了, 習(xí)慣了用信息增益作為特征選擇的指標(biāo), 而信息增益是由前熵后熵差值而來(lái).

為什么用熵? 對(duì)不起,這個(gè)問(wèn)題請(qǐng)問(wèn)科學(xué)家,你用就是了

為什么說(shuō)熵比較高就是比較混亂?  接下來(lái)我們算一算驗(yàn)證一下.

 

首先來(lái)個(gè)簡(jiǎn)單粗暴的:

給三個(gè)球分類, 顯然一眼就可以看出把紅球獨(dú)自一組,黑球一組.  那么具體分類的信息增益怎樣呢?

電腦培訓(xùn),計(jì)算機(jī)培訓(xùn),平面設(shè)計(jì)培訓(xùn),網(wǎng)頁(yè)設(shè)計(jì)培訓(xùn),美工培訓(xùn),Web培訓(xùn),Web前端開(kāi)發(fā)培訓(xùn)

在Excel里算前熵

E(三個(gè)球) = - 1/3 * log(1/3, 2) - 2/3 * log(2/3,2) = 0.918

  

第一種分法是紅黑球一組，黑球自己一組. 在紅黑一組中有紅球和黑球, 紅黑球各自出現(xiàn)的概率是1/2.  在另一組只有 100%出現(xiàn)黑球, 紅球的概率是0

所以 E(紅黑|黑) = E(紅黑) + E(黑) = - 1/2 * log(  1/2, 2) - 1/2 * log (1/2, 2) - 1 * log( 1, 2) = 1

電腦培訓(xùn),計(jì)算機(jī)培訓(xùn),平面設(shè)計(jì)培訓(xùn),網(wǎng)頁(yè)設(shè)計(jì)培訓(xùn),美工培訓(xùn),Web培訓(xùn),Web前端開(kāi)發(fā)培訓(xùn)

第二種分法就是紅球自己一組了, 在紅球組中出現(xiàn)黑球的概率是0, 在黑球組中出現(xiàn)紅球的概率是0, 這樣的分類已經(jīng)"純"了.  還是可以計(jì)算熵:

E(紅|黑黑) = E(紅) + E(黑黑) = - 1 * log( 1, 2) - 1 * log( 1, 2) = 0

電腦培訓(xùn),計(jì)算機(jī)培訓(xùn),平面設(shè)計(jì)培訓(xùn),網(wǎng)頁(yè)設(shè)計(jì)培訓(xùn),美工培訓(xùn),Web培訓(xùn),Web前端開(kāi)發(fā)培訓(xùn)

那么,

紅黑混合的信息增益  G(紅黑|黑) = E(三個(gè)球) - E(紅黑|黑) = 0.918 - 1 = -0.02

紅黑分