1、如何提高機(jī)器學(xué)習(xí)算法的召回率

最近在做文本分類，遇到了一些問(wèn)題，想問(wèn)問(wèn)大家有沒(méi)有好的方法。為了節(jié)省時(shí)間，我只采取了部分?jǐn)?shù)據(jù)來(lái)跑算法（全部數(shù)據(jù)跑了之后的結(jié)果和這個(gè)差不多）
訓(xùn)練集：4837 documents
測(cè)試集：2074 documents
樣本比例：正樣本：負(fù)樣本 = 1：3
預(yù)測(cè)結(jié)果中，有的算法在正樣本中預(yù)測(cè)的精確率還行（0.95-1.00之間），但是召回率非常差，通常只有0.01和0.02左右，KNeighbors和DecisionTree的精確率和召回率都是0，只有NaiveBayes和BernoulliNB的PR和Recall比較平均，但是也沒(méi)有到0.8。
問(wèn)題：我查了一下那些召回率較低（0.01）的算法，475個(gè)樣本中（正樣本），實(shí)際上只有5個(gè)被預(yù)測(cè)正確了的，但是具體原因沒(méi)有查出來(lái)。
我想請(qǐng)問(wèn)一下：1.召回率低是因?yàn)闃颖緲O度不平衡造成的嗎？（雖然我認(rèn)為1：3的比例不算極度不平衡。）2.在這種樣本不平衡的問(wèn)題上，有沒(méi)有什么好的方法可以提高召回率？我試過(guò)SMOTE方法（過(guò)采樣和欠采樣都有試過(guò)），但對(duì)于我的數(shù)據(jù)集并沒(méi)有什么好的效果，不止到有沒(méi)有有什么好的方法可以解決這個(gè)問(wèn)題？！
添加評(píng)論
分享

查看全部 11 個(gè)回答

0贊同反對(duì)，不會(huì)顯示你的姓名
Elvin 全是細(xì)枝末節(jié)，做一個(gè)樂(lè)于分享的人
兩個(gè)問(wèn)題一并回答一下，根據(jù)你的描述，我覺(jué)得問(wèn)題應(yīng)該不是出在正負(fù)樣本比上，1比3這個(gè)比例不但不是非常不均衡，相反在我看來(lái)已經(jīng)是非常均衡了。以前做比賽有處理過(guò)正負(fù)比1比10000的數(shù)據(jù)，我覺(jué)得這才叫不平衡，才需要使用類似上采樣，下采樣，以及SMOTE算法（都用過(guò)），而且這樣的情況下recall，F(xiàn)1等指標(biāo)的提升是顯著的。我覺(jué)得正負(fù)比例在1：1至1：100間差別都不會(huì)太大，需要根據(jù)具體問(wèn)題做離線交叉驗(yàn)證去找到最好的比例。

所以我建議你不用再糾結(jié)正負(fù)樣本比的問(wèn)題，可以再回頭看一看你的數(shù)據(jù)集，一方面看一看代碼是否有誤？數(shù)據(jù)集是否太??？（總覺(jué)得你的數(shù)據(jù)集太小，而且測(cè)試集相對(duì)于訓(xùn)練集太大）另外訓(xùn)練集，測(cè)試集的劃分是否正確？或者重新劃分一下訓(xùn)練測(cè)試集做一下交叉驗(yàn)證看一看各項(xiàng)指標(biāo)再具體研究。 TP —— True Positive （真正, TP）被模型預(yù)測(cè)為正的正樣本；可以稱作判斷為真的正確率
TN —— True Negative（真負(fù) , TN）被模型預(yù)測(cè)為負(fù)的負(fù)樣本 ；可以稱作判斷為假的正確率
FP ——False Positive （假正, FP）被模型預(yù)測(cè)為正的負(fù)樣本；可以稱作誤報(bào)率
FN——False Negative（假負(fù) , FN）被模型預(yù)測(cè)為負(fù)的正樣本；可以稱作漏報(bào)率
True Positive Rate（真正率 , TPR）或靈敏度（sensitivity） 　　TPR = TP /（TP + FN） 　　正樣本預(yù)測(cè)結(jié)果數(shù) / 正樣本實(shí)際數(shù)
True Negative Rate（真負(fù)率 , TNR）或特指度（specificity） 　　TNR = TN /（TN + FP） 　　負(fù)樣本預(yù)測(cè)結(jié)果數(shù) / 負(fù)樣本實(shí)際數(shù)
False Positive Rate （假正率, FPR） 　　FPR = FP /（FP + TN） 　　被預(yù)測(cè)為正的負(fù)樣本結(jié)果數(shù) /負(fù)樣本實(shí)際數(shù)
False Negative Rate（假負(fù)率 , FNR） 　　FNR = FN /（TP + FN） 　　被預(yù)測(cè)為負(fù)的正樣本結(jié)果數(shù) / 正樣本實(shí)際數(shù)

2、機(jī)器學(xué)習(xí)中對(duì)數(shù)幾率回歸中為什么把y看作x為正例的概率

考慮二問(wèn)題即實(shí)例類（positive）或負(fù)類（negative）二問(wèn)題說(shuō)現(xiàn)四種情況實(shí)例類并且預(yù)測(cè)類即真類（Truepositive）,實(shí)例負(fù)類預(yù)測(cè)類稱假類（Falsepositive）相應(yīng)實(shí)例負(fù)類預(yù)測(cè)負(fù)類稱真負(fù)類（Truenegative）,類預(yù)測(cè)負(fù)類則假負(fù)類（falsenegative）列聯(lián)表表所示1代表類0代表負(fù)類預(yù)測(cè)10合計(jì)實(shí)際1TruePositive（TP）FalseNegative（FN）ActualPositive(TP+FN)0FalsePositive（FP)TrueNegative(TN)ActualNegative(FP+TN)合計(jì)PredictedPositive(TP+FP)PredictedNegative(FN+TN)TP+FP+FN+TN列聯(lián)表引入兩新名詞其真類率(truepositiverate,TPR),計(jì)算公式TPR=TP/(TP+FN)刻畫(huà)類器所識(shí)別實(shí)例占所實(shí)例比例另外假類率(falsepositiverate,FPR),計(jì)算公式FPR=FP/(FP+TN)計(jì)算類器錯(cuò)認(rèn)類負(fù)實(shí)例占所負(fù)實(shí)例比例真負(fù)類率（TrueNegativeRateTNR）稱specificity,計(jì)算公式TNR=TN/(FP+TN)=1-FPR二類模型于所連續(xù)結(jié)假設(shè)已確定閾值比說(shuō)0.6于值實(shí)例劃歸類于值則劃負(fù)類減閾值減0.5固能識(shí)別類提高識(shí)別例占所例比例即TPR同負(fù)實(shí)例作實(shí)例即提高FPR形象化變化引入ROCReceiverOperatingCharacteristic,翻譯接受者操作特性曲線夠拗口曲線由兩變量1-specificitySensitivity繪制.1-specificity=FPR即假類率Sensitivity即真類率TPR(Truepositiverate),反映類覆蓋程度組合1-specificitysensitivity,即代價(jià)(costs)收益(benefits)表邏輯歸結(jié)實(shí)數(shù)值按劃10數(shù)相同部Percentile實(shí)例數(shù)例數(shù)1-特異度(%)敏度(%)10618048792.7334.6420618028049.8054.55306180216518.2269.92406180150628.0180.6250618098738.9087.6260618052950.7491.3870618036562.9393.9780618029475.2696.0690618029787.5998.171006177258100.00100.00其例數(shù)部實(shí)際類數(shù)說(shuō)邏輯歸結(jié)按排列倘若前10%數(shù)值作閥值即前10%實(shí)例都劃歸類6180其確數(shù)4879占所類4879/14084*100%=34.64%即敏度；另外6180-4879=1301負(fù)實(shí)例錯(cuò)劃類占所負(fù)類1301/47713*100%=2.73%,即1-特異度兩組值別作x值y值excel作散點(diǎn)圖ROC曲線

3、機(jī)器學(xué)習(xí)中roc曲線的accuracy怎么求

考慮一個(gè)二分問(wèn)題，即將實(shí)例分成正類（positive）或負(fù)類（negative）。對(duì)一個(gè)二分問(wèn)題來(lái)說(shuō)，會(huì)出現(xiàn)四種情況。如果一個(gè)實(shí)例是正類并且也被預(yù)測(cè)成正類，即為真正類（Truepositive）,如果實(shí)例是負(fù)類被預(yù)測(cè)成正類，稱之為假正類（Falsepositive）。相應(yīng)地，如果實(shí)例是負(fù)類被預(yù)測(cè)成負(fù)類，稱之為真負(fù)類（Truenegative）,正類被預(yù)測(cè)成負(fù)類則為假負(fù)類（falsenegative）。列聯(lián)表如下表所示，1代表正類，0代表負(fù)類。預(yù)測(cè)10合計(jì)實(shí)際1TruePositive（TP）FalseNegative（FN）ActualPositive(TP+FN)0FalsePositive（FP)TrueNegative(TN)ActualNegative(FP+TN)合計(jì)PredictedPositive(TP+FP)PredictedNegative(FN+TN)TP+FP+FN+TN從列聯(lián)表引入兩個(gè)新名詞。其一是真正類率(truepositiverate,TPR),計(jì)算公式為T(mén)PR=TP/(TP+FN)，刻畫(huà)的是分類器所識(shí)別出的正實(shí)例占所有正實(shí)例的比例。另外一個(gè)是假正類率(falsepositiverate,FPR),計(jì)算公式為FPR=FP/(FP+TN)，計(jì)算的是分類器錯(cuò)認(rèn)為正類的負(fù)實(shí)例占所有負(fù)實(shí)例的比例。還有一個(gè)真負(fù)類率（TrueNegativeRate，TNR），也稱為specificity,計(jì)算公式為T(mén)NR=TN/(FP+TN)=1-FPR。在一個(gè)二分類模型中，對(duì)于所得到的連續(xù)結(jié)果，假設(shè)已確定一個(gè)閾值，比如說(shuō)0.6，大于這個(gè)值的實(shí)例劃歸為正類，小于這個(gè)值則劃到負(fù)類中。如果減小閾值，減到0.5，固然能識(shí)別出的正類，也就是提高了識(shí)別出的正例占所有正例的比例，即TPR，但同時(shí)也將的負(fù)實(shí)例當(dāng)作了正實(shí)例，即提高了FPR。為了形象化這一變化，在此引入ROC。ReceiverOperatingCharacteristic,翻譯為接受者操作特性曲線，夠拗口的。曲線由兩個(gè)變量1-specificity和Sensitivity繪制.1-specificity=FPR，即假正類率。Sensitivity即是真正類率，TPR(Truepositiverate),反映了正類覆蓋程度。這個(gè)組合以1-specificity對(duì)sensitivity,即是以代價(jià)(costs)對(duì)收益(benefits)。下表是一個(gè)邏輯回歸得到的結(jié)果。將得到的實(shí)數(shù)值按大到小劃分成10個(gè)個(gè)數(shù)相同的部分。Percentile實(shí)例數(shù)正例數(shù)1-特異度(%)敏感度(%)10618048792.7334.6420618028049.8054.55306180216518.2269.92406180150628.0180.6250618098738.9087.6260618052950.7491.3870618036562.9393.9780618029475.2696.0690618029787.5998.171006177258100.00100.00其正例數(shù)為此部分里實(shí)際的正類數(shù)。也就是說(shuō)，將邏輯回歸得到的結(jié)果按從大到小排列，倘若以前10%的數(shù)值作為閥值，即將前10%的實(shí)例都劃歸為正類，6180個(gè)。其中，正確的個(gè)數(shù)為4879個(gè)，占所有正類的4879/14084*100%=34.64%，即敏感度；另外，有6180-4879=1301個(gè)負(fù)實(shí)例被錯(cuò)劃為正類，占所有負(fù)類的1301/47713*100%=2.73%,即1-特異度。以這兩組值分別作為x值和y值，在excel中作散點(diǎn)圖。得到ROC曲線如下 你講的是信號(hào)檢測(cè)論里的吧?ROC曲線縱軸是擊中率,橫軸是虛報(bào)率,對(duì)角線表示隨機(jī)概率.對(duì)角線以上鏈接對(duì)角向上彎曲的曲線就是ROC曲線.曲率越大越向上表示被試感受性越強(qiáng).

4、機(jī)器學(xué)習(xí)模型評(píng)價(jià)指標(biāo)及R實(shí)現(xiàn)

機(jī)器學(xué)習(xí)模型評(píng)價(jià)指標(biāo)及R實(shí)現(xiàn)
1.ROC曲線
考慮一個(gè)二分問(wèn)題，即將實(shí)例分成正類（positive）或負(fù)類（negative）。對(duì)一個(gè)二分問(wèn)題來(lái)說(shuō)，會(huì)出現(xiàn)四種情況。如果一個(gè)實(shí)例是正類并且也被 預(yù)測(cè)成正類，即為真正類（True positive）,如果實(shí)例是負(fù)類被預(yù)測(cè)成正類，稱之為假正類（False positive）。相應(yīng)地，如果實(shí)例是負(fù)類被預(yù)測(cè)成負(fù)類，稱之為真負(fù)類（True negative）,正類被預(yù)測(cè)成負(fù)類則為假負(fù)類（false negative）。
列聯(lián)表如下表所示，1代表正類，0代表負(fù)類。

真正類率(true positive rate ,TPR), 也稱為 Sensitivity，計(jì)算公式為T(mén)PR=TP/ (TP+ FN)，刻畫(huà)的是分類器所識(shí)別出的 正實(shí)例占所有正實(shí)例的比例。
假正類率(false positive rate, FPR),計(jì)算公式為FPR= FP / (FP + TN)，計(jì)算的是分類器錯(cuò)認(rèn)為正類的負(fù)實(shí)例占所有負(fù)實(shí)例的比例。
真負(fù)類率（True Negative Rate，TNR），也稱為specificity,計(jì)算公式為T(mén)NR=TN/ (FP+ TN) = 1 - FPR。 在一個(gè)二分類模型中，對(duì)于所得到的連續(xù)結(jié)果，假設(shè)已確定一個(gè)閾值，比如說(shuō) 0.6，大于這個(gè)值的實(shí)例劃歸為正類，小于這個(gè)值則劃到負(fù)類中。如果減小閾值，減到0.5，固然能識(shí)別出更多的正類，也就是提高了識(shí)別出的正例占所有正例的比例，即TPR，但同時(shí)也將更多的負(fù)實(shí)例當(dāng)作了正實(shí)例，即提高了FPR。為了形象化這一變化，在此引入ROC。

ROC曲線正是由兩個(gè)變量1-specificity(x軸) 和 Sensitivity(y軸)繪制的，其中1-specificity為FPR，Sensitivity為T(mén)PR。隨著閾值的改變，就能得到每個(gè)閾值所對(duì)應(yīng)的1-specificity和Sensitivity，最后繪制成圖像。
該圖像的面積如果越接近1，那么我們則認(rèn)為該分類器效果越好。從直覺(jué)上來(lái)說(shuō)，假設(shè)我們的預(yù)測(cè)全部100%正確，那么不管閾值怎么變（除了閾值等于0和1時(shí)），我們的Sensitivity（真正類）率永遠(yuǎn)等于1，1-specificity（1-真負(fù)類率）永遠(yuǎn)等于0，所以該圖就是個(gè)正方形，面積為1，效果最好。

樣例數(shù)據(jù)集：

library(ROCR)
data(ROCR.simple)
ROCR.simple<-as.data.frame(ROCR.simple)
head(ROCR.simple)
# predictions labels
# 1 0.6125478 1
# 2 0.3642710 1
# 3 0.4321361 0
# 4 0.1402911 0
# 5 0.3848959 0
# 6 0.2444155 1

繪制ROC圖：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
perf <- performance(pred,"tpr","fpr")
plot(perf,colorize=TRUE)

2.AUC值
AUC值就是ROC曲線下的面積，可以通過(guò)以下代碼計(jì)算：
pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
auc.tmp <- performance(pred,"auc")
auc <- as.numeric(auc.tmp@y.values)
3.Recall-Precision（PR）曲線
同樣是一個(gè)二分類的模型的列聯(lián)表，我們可以定義：

然后我們通過(guò)計(jì)算不同的閾值，以Recall為X軸，Precision為Y軸繪制圖像。
PR圖可以有這樣的應(yīng)用，引用一個(gè)例子[1]:
1. 地震的預(yù)測(cè)
對(duì)于地震的預(yù)測(cè)，我們希望的是RECALL非常高，也就是說(shuō)每次地震我們都希望預(yù)測(cè)出來(lái)。這個(gè)時(shí)候我們可以犧牲PRECISION。情愿發(fā)出1000次警報(bào)，把10次地震都預(yù)測(cè)正確了；也不要預(yù)測(cè)100次對(duì)了8次漏了兩次。
2. 嫌疑人定罪
基于不錯(cuò)怪一個(gè)好人的原則，對(duì)于嫌疑人的定罪我們希望是非常準(zhǔn)確的。及時(shí)有時(shí)候放過(guò)了一些罪犯（recall低），但也是值得的。

對(duì)于分類器來(lái)說(shuō)，本質(zhì)上是給一個(gè)概率，此時(shí)，我們?cè)龠x擇一個(gè)CUTOFF點(diǎn)（閥值），高于這個(gè)點(diǎn)的判正，低于的判負(fù)。那么這個(gè)點(diǎn)的選擇就需要結(jié)合你的具體場(chǎng)景去選擇。反過(guò)來(lái)，場(chǎng)景會(huì)決定訓(xùn)練模型時(shí)的標(biāo)準(zhǔn)，比如第一個(gè)場(chǎng)景中，我們就只看RECALL=99.9999%（地震全中）時(shí)的PRECISION，其他指標(biāo)就變得沒(méi)有了意義。

繪制代碼：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
RP.perf <- performance(pred, "prec", "rec")
plot (RP.perf)
#查看閾值為0.1，0.5，0.9下的召回率和精確率
plot(RP.perf, colorize=T, colorkey.pos="top",
print.cutoffs.at=c(0.1,0.5,0.9), text.cex=1,
text.adj=c(1.2, 1.2), lwd=2)

一般這曲線越靠上，則認(rèn)為模型越好。對(duì)于這個(gè)曲線的評(píng)價(jià)，我們可以使用F分?jǐn)?shù)來(lái)描述它。就像ROC使用AUC來(lái)描述一樣。
4.F1分?jǐn)?shù)
Fβ
分?jǐn)?shù)定義如下：

我們可以使用R計(jì)算F1分?jǐn)?shù)：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
f.perf <- performance(pred, "f")
plot(f.perf) #橫坐標(biāo)為閾值的取值

5.均方根誤差RMSE
回歸模型中最常用的評(píng)價(jià)模型便是RMSE（root mean square error，平方根誤差），其又被稱為RMSD（root mean square deviation），其定義如下：

其中，yi是第i個(gè)樣本的真實(shí)值，y^i是第i個(gè)樣本的預(yù)測(cè)值，n是樣本的個(gè)數(shù)。該評(píng)價(jià)指標(biāo)使用的便是歐式距離。
??RMSE雖然廣為使用，但是其存在一些缺點(diǎn)，因?yàn)樗鞘褂闷骄`差，而平均值對(duì)異常點(diǎn)（outliers）較敏感，如果回歸器對(duì)某個(gè)點(diǎn)的回歸值很不理性，那么它的誤差則較大，從而會(huì)對(duì)RMSE的值有較大影響，即平均值是非魯棒的。 所以有的時(shí)候我們會(huì)先剔除掉異常值，然后再計(jì)算RMSE。

R語(yǔ)言中RMSE計(jì)算代碼如下：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
rmse.tmp<-performance(pred, "rmse")
rmse<-rmse.tmp@y.values
6.SAR

SAR是一個(gè)結(jié)合了各類評(píng)價(jià)指標(biāo)，想要使得評(píng)價(jià)更具有魯棒性的指標(biāo)。(cf. Caruana R., ROCAI2004):

其中準(zhǔn)確率(Accuracy)是指在分類中，使用測(cè)試集對(duì)模型進(jìn)行分類，分類正確的記錄個(gè)數(shù)占總記錄個(gè)數(shù)的比例：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
sar.perf<-performance(pred, "sar")
7.多分類的AUC[5]

將二類 AUC 方法直接擴(kuò)展到多類分類評(píng)估中, 存在表述空間維數(shù)高、復(fù)雜性大的問(wèn)題。 一般采用將多類分類轉(zhuǎn)成多個(gè)二類分類的思想, 用二類 AUC 方法來(lái)評(píng)估多類分類器的性能。Fawcett 根據(jù)這種思想提出了 F- AUC 方法[4], 該評(píng)估模型如下

其中AUC(i,rest)是計(jì)算 用 ” 1- a- r”方 法 得 到 的 每 個(gè) 二 類 分 類器的 AUC 值,“ 1- a- r”方法思想是 k 類分類問(wèn)題構(gòu)造 k 個(gè)二類分類器, 第 i 個(gè)二類分類器中用第 i 類的訓(xùn)練樣本作為正例, 其他所有樣本作為負(fù)例。 p ( i) 是計(jì)算每個(gè)類在所有樣本中占有的比例,

5、機(jī)器學(xué)習(xí)除了準(zhǔn)確率,召回率,roc,還有沒(méi)有其他的評(píng)價(jià)指標(biāo)

分類

混淆矩陣1

True Positive(真正, TP)：將正類預(yù)測(cè)為正類數(shù).

True Negative(真負(fù) , TN)：將負(fù)類預(yù)測(cè)為負(fù)類數(shù).

False Positive(假正, FP)：將負(fù)類預(yù)測(cè)為正類數(shù) →→ 誤報(bào) (Type I error).

False Negative(假負(fù) , FN)：將正類預(yù)測(cè)為負(fù)類數(shù) →→ 漏報(bào) (Type II error).

精確率(precision)定義為：

P=TPTP+FP(1)(1)P=TPTP+FP

需要注意的是精確率(precision)和準(zhǔn)確率(accuracy)是不一樣的，

ACC=TP+TNTP+TN+FP+FNACC=TP+TNTP+TN+FP+FN

在正負(fù)樣本不平衡的情況下，準(zhǔn)確率這個(gè)評(píng)價(jià)指標(biāo)有很大的缺陷。比如在互聯(lián)網(wǎng)廣告里面，點(diǎn)擊的數(shù)量是很少的，一般只有千分之幾，如果用acc，即使全部預(yù)測(cè)成負(fù)類（不點(diǎn)擊）acc 也有 99% 以上，沒(méi)有意義。

召回率(recall,sensitivity,true positive rate)定義為：

R=TPTP+FN(2)(2)R=TPTP+FN

此外，還有 F1F1 值，是精確率和召回率的調(diào)和均值，

2F1F1=1P+1R=2TP2TP+FP+FN(3)2F1=1P+1R(3)F1=2TP2TP+FP+FN

精確率和準(zhǔn)確率都高的情況下，F(xiàn)1F1 值也會(huì)高。

通俗版本

剛開(kāi)始接觸這兩個(gè)概念的時(shí)候總搞混，時(shí)間一長(zhǎng)就記不清了。

實(shí)際上非常簡(jiǎn)單，精確率是針對(duì)我們預(yù)測(cè)結(jié)果而言的，它表示的是預(yù)測(cè)為正的樣本中有多少是對(duì)的。那么預(yù)測(cè)為正就有兩種可能了，一種就是把正類預(yù)測(cè)為正類(TP)，另一種就是把負(fù)類預(yù)測(cè)為正類(FP)。

而召回率是針對(duì)我們?cè)瓉?lái)的樣本而言的，它表示的是樣本中的正例有多少被預(yù)測(cè)正確了。那也有兩種可能，一種是把原來(lái)的正類預(yù)測(cè)成正類(TP)，另一種就是把原來(lái)的正類預(yù)測(cè)為負(fù)類(FN)。

在信息檢索領(lǐng)域，精確率和召回率又被稱為查準(zhǔn)率和查全率，

查準(zhǔn)率查全率＝檢索出的相關(guān)信息量檢索出的信息總量＝檢索出的相關(guān)信息量系統(tǒng)中的相關(guān)信息總量查準(zhǔn)率＝檢索出的相關(guān)信息量檢索出的信息總量查全率＝檢索出的相關(guān)信息量系統(tǒng)中的相關(guān)信息總量

ROC 曲線

我們先來(lái)看下維基百科的定義，

In signal detection theory, a receiver operating characteristic (ROC), or simply ROC curve, is a graphical plot which illustrates the performance of a binary classifier system as its discrimination threshold is varied.

比如在邏輯回歸里面，我們會(huì)設(shè)一個(gè)閾值，大于這個(gè)值的為正類，小于這個(gè)值為負(fù)類。如果我們減小這個(gè)閥值，那么更多的樣本會(huì)被識(shí)別為正類。這會(huì)提高正類的識(shí)別率，但同時(shí)也會(huì)使得更多的負(fù)類被錯(cuò)誤識(shí)別為正類。為了形象化這一變化，在此引入 ROC ，ROC 曲線可以用于評(píng)價(jià)一個(gè)分類器好壞。

ROC 關(guān)注兩個(gè)指標(biāo)，

true positive rate:false positive rate:TPR=TPTP+FNFPR=FPFP+TNtrue positive rate:TPR=TPTP+FNfalse positive rate:FPR=FPFP+TN

直觀上，TPR 代表能將正例分對(duì)的概率，F(xiàn)PR 代表將負(fù)例錯(cuò)分為正例的概率。在 ROC 空間中，每個(gè)點(diǎn)的橫坐標(biāo)是 FPR，縱坐標(biāo)是 TPR，這也就描繪了分類器在 TP（真正率）和 FP（假正率）間的 trade-off2。

AUC

AUC（Area Under Curve）被定義為ROC曲線下的面積，顯然這個(gè)面積的數(shù)值不會(huì)大于1。

The AUC value is equivalent to the probability that a randomly chosen positive example is ranked higher than a randomly chosen negative example.

翻譯過(guò)來(lái)就是，隨機(jī)挑選一個(gè)正樣本以及一個(gè)負(fù)樣本，分類器判定正樣本的值高于負(fù)樣本的概率就是 AUC 值。

簡(jiǎn)單說(shuō)：AUC值越大的分類器，正確率越高3。

AUC=1AUC=1，完美分類器，采用這個(gè)預(yù)測(cè)模型時(shí)，不管設(shè)定什么閾值都能得出完美預(yù)測(cè)。絕大多數(shù)預(yù)測(cè)的場(chǎng)合，不存在完美分類器。

0.5<AUC<10.5<AUC<1，優(yōu)于隨機(jī)猜測(cè)。這個(gè)分類器（模型）妥善設(shè)定閾值的話，能有預(yù)測(cè)價(jià)值。

AUC=0.5AUC=0.5，跟隨機(jī)猜測(cè)一樣（例：丟銅板），模型沒(méi)有預(yù)測(cè)價(jià)值。

AUC<0.5AUC<0.5，比隨機(jī)猜測(cè)還差；但只要總是反預(yù)測(cè)而行，就優(yōu)于隨機(jī)猜測(cè)，因此不存在 AUC<0.5AUC<0.5 的情況。

既然已經(jīng)這么多評(píng)價(jià)標(biāo)準(zhǔn)，為什么還要使用ROC和AUC呢？因?yàn)镽OC曲線有個(gè)很好的特性：當(dāng)測(cè)試集中的正負(fù)樣本的分布變化的時(shí)候，ROC曲線能夠保持不變。在實(shí)際的數(shù)據(jù)集中經(jīng)常會(huì)出現(xiàn)類不平衡（class imbalance）現(xiàn)象，即負(fù)樣本比正樣本多很多（或者相反）

回歸4

平均絕對(duì)誤差

平均絕對(duì)誤差MAE（Mean Absolute Error）又被稱為 l1l1 范數(shù)損失（l1-norm loss）：

MAE(y,y^)=1nsamples∑i=1nsamples|yi−y^i|MAE(y,y^)=1nsamples∑i=1nsamples|yi−y^i|

平均平方誤差

平均平方誤差 MSE（Mean Squared Error）又被稱為 l2l2 范數(shù)損失（l2-norm loss）：

MSE(y,y^)=1nsamples∑i=1nsamples(yi−y^i)2MSE(y,y^)=1nsamples∑i=1nsamples(yi−y^i)2

看你要做什么樣的任務(wù)，根據(jù)任務(wù)來(lái)定指標(biāo)。
比如說(shuō)你如果要做的是檢索方面的任務(wù)，那么準(zhǔn)確率、召回率還有其衍生出來(lái)的F1值是常用的指標(biāo)。ROC曲線當(dāng)然也是一個(gè)不錯(cuò)的指標(biāo)。
如果你做的是預(yù)測(cè)方面的任務(wù)，那么衡量的就是預(yù)測(cè)的誤差了，這個(gè)時(shí)候可能就會(huì)要用到RMSE（均方根誤差）這樣的指標(biāo)了。具體的計(jì)算公式你可以百度。
如果你要做的是排序方面的任務(wù)，還有MAP（平均準(zhǔn)確率）、NDCG等等。
所以說(shuō)，要先確定問(wèn)題，再根據(jù)問(wèn)題選擇相應(yīng)的評(píng)價(jià)指標(biāo)

轉(zhuǎn)載請(qǐng)帶上網(wǎng)址：http://m.dk322.cn/posjitwo/145531.html