"爸爸,熊貓為什么是3個不是11個"
"寶貝,你還沒學(xué)二進制好嗎....."
以上故事純屬虛構(gòu),真實的對話其實是這樣的
"爸爸, 為什么3比4小"
"寶貝，數(shù)一下就知道啦。你看豬豬有1,2,3. 3個, 小鳥有1,2,3,4. 4個. 你看小鳥是不是比豬豬多? 所以3比4小"
為什么我們要用十進制? 我們當(dāng)然明白十進制是為了把世界描述為在數(shù)學(xué)上大家統(tǒng)一使用的語言然后進行溝通, 如果你用十進制我用二進制,那沒法溝通了是不?
決策樹用多了, 習(xí)慣了用信息增益作為特征選擇的指標(biāo), 而信息增益是由前熵后熵差值而來.
為什么用熵? 對不起,這個問題請問科學(xué)家,你用就是了
為什么說熵比較高就是比較混亂? 接下來我們算一算驗證一下.
首先來個簡單粗暴的:
給三個球分類, 顯然一眼就可以看出把紅球獨自一組,黑球一組. 那么具體分類的信息增益怎樣呢?
在Excel里算前熵
E(三個球) = - 1/3 * log(1/3, 2) - 2/3 * log(2/3,2) = 0.918
第一種分法是紅黑球一組，黑球自己一組. 在紅黑一組中有紅球和黑球, 紅黑球各自出現(xiàn)的概率是1/2. 在另一組只有 100%出現(xiàn)黑球, 紅球的概率是0
所以 E(紅黑|黑) = E(紅黑) + E(黑) = - 1/2 * log( 1/2, 2) - 1/2 * log (1/2, 2) - 1 * log( 1, 2) = 1
第二種分法就是紅球自己一組了, 在紅球組中出現(xiàn)黑球的概率是0, 在黑球組中出現(xiàn)紅球的概率是0, 這樣的分類已經(jīng)"純"了. 還是可以計算熵:
E(紅|黑黑) = E(紅) + E(黑黑) = - 1 * log( 1, 2) - 1 * log( 1, 2) = 0
那么,
紅黑混合的信息增益 G(紅黑|黑) = E(三個球) - E(紅黑|黑) = 0.918 - 1 = -0.02
紅黑分
