|
目錄： （1） ROC曲線的由來 （2） 什么是ROC曲線 （3） ROC曲線的意義 （4） AUC面積的由來 （5） 什么是AUC面積 （6） AUC面積的意義 （7） 討論：在多分類問題下能不能使用ROC曲線 一、 ROC曲線的由來 很多學習器是為測試樣本產(chǎn)生一個實值或概率預測，然后將這個預測值與一個分類閾值進行比較，若大于閾值則分為正類，否則為反類。例如，神經(jīng)網(wǎng)絡在一般情形下是對每個測試樣本預測出一個[0.0，1.0]之間的實值，然后將這個值與閾值0.5進行比較，大于0.5則判為正例，否則為反例。這個閾值設置的好壞，直接決定了學習器的泛化能力。 在不同的應用任務中，我們可根據(jù)任務需求來采用不同的閾值。例如，若我們更重視“查準率”，則可以把閾值設置的大一些，讓分類器的預測結果更有把握；若我們更重視“查全率”，則可以把閾值設置的小一些，讓分類器預測出更多的正例。因此，閾值設置的好壞，體現(xiàn)了綜合考慮學習器在不同任務下的泛化性能的好壞。為了形象的描述這一變化，在此引入ROC曲線，ROC曲線則是從閾值選取角度出發(fā)來研究學習器泛化性能的有力工具。 如果你還對“查準率”和“查全率”不了解，看我之前的文章【錯誤率、精度、查準率、查全率和F1度量】詳細介紹 二、 什么是ROC曲線 ROC全稱是“受試者工作特征”(Receiver OperatingCharacteristic)曲線。我們根據(jù)學習器的預測結果，把閾值從0變到最大，即剛開始是把每個樣本作為正例進行預測，隨著閾值的增大，學習器預測正樣例數(shù)越來越少，直到最后沒有一個樣本是正樣例。在這一過程中，每次計算出兩個重要量的值，分別以它們?yōu)闄M、縱坐標作圖，就得到了“ROC曲線”。 ROC曲線的縱軸是“真正例率”(True Positive Rate, 簡稱TPR)，橫軸是“假正例率”(False Positive Rate,簡稱FPR)，基于上篇文章《錯誤率、精度、查準率、查全率和F1度量》的表1中符號，兩者分別定義為：  顯示ROC曲線的圖稱為“ROC圖”。圖1給出了一個示意圖，顯然，對角線對應于“隨機猜測”模型，而點(0,1)則對應于將所有正例預測為真正例、所有反例預測為真反例的“理想模型”。  圖1：ROC曲線與AUC面積 現(xiàn)實任務中通常是利用有限個測試樣例來繪制ROC圖，此時僅能獲得有限個(真正例率，假正例率)坐標對，無法產(chǎn)生圖1中的光滑ROC曲線，只能繪制出圖2所示的近似ROC曲線。繪制過程很簡單：給定 三、 ROC曲線的意義 （1）主要作用 1. ROC曲線能很容易的查出任意閾值對學習器的泛化性能影響。 2.有助于選擇最佳的閾值。ROC曲線越靠近左上角，模型的查全率就越高。最靠近左上角的ROC曲線上的點是分類錯誤最少的最好閾值，其假正例和假反例總數(shù)最少。 3.可以對不同的學習器比較性能。將各個學習器的ROC曲線繪制到同一坐標中，直觀地鑒別優(yōu)劣，靠近左上角的ROC曲所代表的學習器準確性最高。 （2）優(yōu)點 1. 該方法簡單、直觀、通過圖示可觀察分析方法的準確性，并可用肉眼作出判斷。ROC曲線將真正例率和假正例率以圖示方法結合在一起，可準確反映某種學習器真正例率和假正例率的關系，是檢測準確性的綜合代表。 2. 在生物信息學上的優(yōu)點：ROC曲線不固定閾值，允許中間狀態(tài)的存在，利于使用者結合專業(yè)知識，權衡漏診與誤診的影響，選擇一個更加的閾值作為診斷參考值。 四、 AUC面積的由來 如果兩條ROC曲線沒有相交，我們可以根據(jù)哪條曲線最靠近左上角哪條曲線代表的學習器性能就最好。但是，實際任務中，情況很復雜，如果兩條ROC曲線發(fā)生了交叉，則很難一般性地斷言誰優(yōu)誰劣。在很多實際應用中，我們往往希望把學習器性能分出個高低來。在此引入AUC面積。 在進行學習器的比較時，若一個學習器的ROC曲線被另一個學習器的曲線完全“包住”，則可斷言后者的性能優(yōu)于前者；若兩個學習器的ROC曲線發(fā)生交叉，則難以一般性的斷言兩者孰優(yōu)孰劣。此時如果一定要進行比較，則比較合理的判斷依據(jù)是比較ROC曲線下的面積，即AUC(Area Under ROC Curve)，如圖1圖2所示。 五、 什么是AUC面積 AUC就是ROC曲線下的面積，衡量學習器優(yōu)劣的一種性能指標。從定義可知，AUC可通過對ROC曲線下各部分的面積求和而得。假定ROC曲線是由坐標為 六、 AUC面積的意義 AUC是衡量二分類模型優(yōu)劣的一種評價指標，表示預測的正例排在負例前面的概率。 看到這里，是不是很疑惑，根據(jù)AUC定義和計算方法，怎么和預測的正例排在負例前面的概率扯上聯(lián)系呢？如果從定義和計算方法來理解AUC的含義，比較困難，實際上AUC和Mann-WhitneyU test(曼-慧特尼U檢驗)有密切的聯(lián)系。從Mann-Whitney U statistic的角度來解釋，AUC就是從所有正樣本中隨機選擇一個樣本，從所有負樣本中隨機選擇一個樣本，然后根據(jù)你的學習器對兩個隨機樣本進行預測，把正樣本預測為正例的概率 另外值得注意的是，AUC的計算方法同時考慮了學習器對于正例和負例的分類能力，在樣本不平衡的情況下，依然能夠對分類器做出合理的評價。AUC對樣本類別是否均衡并不敏感，這也是不均衡樣本通常用AUC評價學習器性能的一個原因。例如在癌癥預測的場景中，假設沒有患癌癥的樣本為正例，患癌癥樣本為負例，負例占比很少(大概0.1%)，如果使用準確率評估，把所有的樣本預測為正例便可以獲得99.9%的準確率。但是如果使用AUC，把所有樣本預測為正例，TPR為1，F(xiàn)PR為1。這種情況下學習器的AUC值將等于0.5，成功規(guī)避了樣本不均衡帶來的問題。 最后，我們在討論一下：在多分類問題下能不能使用ROC曲線來衡量模型性能？ 我的理解：ROC曲線用在多分類中是沒有意義的。只有在二分類中Positive和Negative同等重要時候，適合用ROC曲線評價。如果確實需要在多分類問題中用ROC曲線的話，可以轉化為多個“一對多”的問題。即把其中一個當作正例，其余當作負例來看待，畫出多個ROC曲線。 |
|
|
來自： 龍行天下zgb76e > 《深度學習》
個正例和
個反例，根據(jù)學習器預測結果對樣例進行排序，然后把分類閾值設置為最大，即把所有樣例均預測為反例，此時真正例率和假正例率均為0，在坐標(0,0)處標記一個點。然后，將分類閾值依次設為每個樣例的預測值，即依次將每個樣例劃分為正例。設前一個標記點坐標為
，當前若為真正例，則對應標記點的坐標為
；當前若為假正例，則對應標記點的坐標為
，然后用線段連接相鄰點即得。
的點按序連接而形成，參見圖2，則AUC可估算為公式3。
，把負樣本預測為正例的概率
，
