^{<noscript id="8oleu"></noscript>}

分類導(dǎo)航

ROC曲線、AUC、Precision、Recall、F-measure理解及Python實(shí)現(xiàn)

發(fā)布時(shí)間：2016年11月03日作者：文章轉(zhuǎn)自網(wǎng)絡(luò)，版權(quán)歸原作者所有，反饋可立刻刪除 (該文來自筆記，點(diǎn)擊查看原文)

一、ROC曲線、AUC、Precision、Recall以及F-measure

二分類問題的預(yù)測結(jié)果可能正確，也可能不正確。結(jié)果正確存在兩種可能：原本對的預(yù)測為對，原本錯(cuò)的預(yù)測為錯(cuò)；結(jié)果錯(cuò)誤也存在兩種可能：原本對的預(yù)測為錯(cuò)，原本錯(cuò)的預(yù)測為對，如Fig 1左側(cè)所示。其中Positives代表預(yù)測是對的，Negatives代表預(yù)測是錯(cuò)的，True代表原本為對，F(xiàn)alse代表原本為錯(cuò)。如何評價(jià)兩個(gè)二分類模型的好壞呢？二分類模型的理想狀態(tài)是什么呢？

首先回答第二個(gè)問題，理想的二分類模型能將原本是對的預(yù)測為對，原本是錯(cuò)的預(yù)測為錯(cuò)。一般情況下，我們很難收集到完備的“原本是對的，原本是錯(cuò)的”數(shù)據(jù)集，也就是說，通常情況下我們獲得是完備的“原本是對的，原本是錯(cuò)的”數(shù)據(jù)集的一個(gè)子集。因此，評價(jià)二分類模型的優(yōu)劣就是在該子集上進(jìn)行的。我們希望在該子集上對二分類模型的評價(jià)是無偏的，也就是說，在概率上保證在該子集上對二分類模型的評價(jià)與在完備集上的評價(jià)一致。

針對第一個(gè)問題，其實(shí)很簡單，數(shù)數(shù)就行了。數(shù)數(shù)原本是對的預(yù)測為對的個(gè)數(shù)，原本是錯(cuò)的預(yù)測為錯(cuò)的個(gè)數(shù)，原本是對的預(yù)測為錯(cuò)的比例，原本是錯(cuò)的預(yù)測為對的比例（評價(jià)二分類問題的四個(gè)基本元素，后續(xù)評價(jià)指標(biāo)都是在此基礎(chǔ)上做出的）。評價(jià)一個(gè)模型的好壞用四個(gè)參數(shù)是不是有點(diǎn)不太直觀哦，要是只有一個(gè)評價(jià)指標(biāo)，如果一個(gè)模型的這指標(biāo)比別的模型大，那這個(gè)模型就比別的模型好（或者反過來，一個(gè)模型的這指標(biāo)比別的模型小，那這個(gè)模型比別的模型好），該多好哦！哈哈！

precision的含義是：預(yù)測為對的當(dāng)中，原本為對的比例（越大越好，1為理想狀態(tài)）

recall的含義是：原本為對的當(dāng)中，預(yù)測為對的比例（越大越好，1為理想狀態(tài)）

F-measure的含義是：用precision和recall兩個(gè)指標(biāo)不直觀（任性），索性把他們合并為一個(gè)，這就是F-measure（越大越好，1為理想狀態(tài)，此時(shí)precision為1，recall為1）

accuracy的含義是：預(yù)測對的（包括原本是對預(yù)測為對，原本是錯(cuò)的預(yù)測為錯(cuò)兩種情形）占整個(gè)的比例（越大越好，1為理想狀態(tài)）

fp rate的含義是：原本是錯(cuò)的預(yù)測為對的比例（越小越好，0為理想狀態(tài)）

tp rate的含義是：原本是對的預(yù)測為對的比例（越大越好，1為理想狀態(tài)）

分類導(dǎo)航

ROC曲線、AUC、Precision、Recall、F-measure理解及Python實(shí)現(xiàn)

延伸閱讀

我想了解如何學(xué)習(xí)

分類導(dǎo)航

ROC曲線、AUC、Precision、Recall、F-measure理解及Python實(shí)現(xiàn)

延伸閱讀

我想了解如何學(xué)習(xí)

ROC曲線、AUC、Precision、Recall、F-measure理解及Python實(shí)現(xiàn)