3.2.2可靠性( rel i abi l iy) 、重復性( r epeat abi li t y)或 精密度( pr eci si on) 可靠性是指一項診斷試驗在完全相同的條件下. 重復時獲得相同結果的穩(wěn)定程度。也即用同一種診斷 方法在同樣條件下.對相同的人群進行一次以上的檢 查.結果愈恒定(試驗結果穩(wěn)定性高)。此診斷方法的 可靠性愈高。對診斷方法的可靠性.可以用變異系數 ( c oef fi c i ent of v撕anc e) 來表示。另外,還可以用不同 觀察者的符合率來判斷其可靠性。也可用Kappa一致 性檢驗來體現。 ![]() Kappa一致性檢驗:這是核對資料可靠性的一種 方法。即先后測試同一批對象。所得結果相符的程度。 資料整理見表2。 ![]() 分析指標如下: ( 1)觀察一致性( obsenr ed agreement ,Po) ![]() ( 2) 機遇一致性( a鏟eeme nt of chance,Pc) ![]() ( 3) 非機遇一致性00t ent i al agr ee ment beyond chanc曲=l —Pc ( 4) 實際一致性( act ual agr eement beyond chance) = Po—Pc ( 5)Ka ppa值=實際一致性/非機遇一致性 =( Po—Pc)/(1一Pc) K印pa值也可由表2各數字直接求得,公式為: ![]() Kappa值可在+l一1之間波動,在實際應用中, Kappa值只在O.+l 間判斷一致性才有意義。Kappa值 越大,表示一致性越好。一般認為Ka ppa值≥O.75,說 明已經取得相當滿意的一致程度。若Kappa值<0.4, 則說明一致程度不夠理想。K印pa值可由統(tǒng)計軟件直 接獲得。Kappa值也可用于兩種方法測定一致性的評 價。又稱吻合度系數。 我們目前常用質控品來進行質量控制.以體現檢 測的可靠性。主要通過質控品的復孔設計.計算其均 值及變異系數,進行評價。 影響試驗可靠性的因素有: ( 1) 方法的差異:如試劑的穩(wěn)定性及被測物質數 值的波動( 如被測物的晝夜差異) ;試驗方法可受試劑 質量、配制方法、溫濕度等因素影響:儀器也可受外環(huán) 境因素(如溫度、濕度、安靜、振動等)的影響,使測量 值發(fā)生誤差。所以,在進行診斷時必須對儀器、藥品、 條件等有嚴格的規(guī)定。 ( 2) 測量變異:這與試驗操作者的技術和責任心 有關.因為任何測量都可出現不同程度的測量變異。 若操作者能遵循操作規(guī)程.操作細心則可減少這種變 異。若操作者可在某種程度上自行判斷測量結果.則 這種變異可以很大甚至難以控制。如用幾種方法( 即 在不同的檢驗室.由不同的操作人員中使用不同的儀 器)進行測量.測量數值的系統(tǒng)誤差將是難以避免的。 測量變異尚包括觀察者間誤差(i nt e卜obs en,e r er ror ) 和觀察者自身誤差(i nt r a—obsenr er en.or ) 。 ( 3) 生物學變異:不同季節(jié)和一日內的不同時間 個體內部的生物學狀態(tài)不斷地發(fā)生變化.也就是產生 變異。這樣,在某個時點獲得的某生物學現象的測量 值只能是該時期內多次測量所獲得數值的一個樣本. 并不能代表各次測量的真實數值。臨床上各項檢驗工 作多是在某一時點進行的.并將各種檢驗結果用于指 導臨床實踐.所以臨床醫(yī)師應對個體的生物學變異給 予足夠的重視。 因此我們在考核時要強調同步試驗原則來減少 差異。 3.2.3預測值預測值( pr edi ct i ve val ue)又稱預告值、診斷價值, 是評價試劑效益的指標。一個診斷方法有其一定的特 異度、靈敏度.但是當應用它篩檢或診斷患病率不同 的人群時,陽性( 或陰性)結果所表示的意義卻不同。 在得到一個陽性(或陰性) 結果時.如何判斷其診斷價 值。這時就需要參考該被檢查者是處于高患病率人群 還是低患病率人群。當患病率很低時。即使一個特異 度很高的試驗也會檢出相當多的假陽性.比如用 EUSA 法檢測AI DS病的HI V抗體.就會出現許多 假陽性.而必須再用第二次的EUSA或蛋白印跡法(west embl ot ) 或其他方法確診。 一個試驗的陽性預測值說明被試人如為陽性時 他有該病的陽性率有多大:陰性預測值說明被認為陰 性時他沒有該病的可能性有多大。 ![]() 預測值受靈敏度、特異度和患病率三者的影響。 在不同患病率的人群中.陽性結果的預測值不同。知 道一個試驗方法的靈敏度、特異度。被測人群某病的 患病率,即可計算出當試驗結果為陽性(或陰性)時, 該人患病的概率。在患病率不變的情況下。預測值隨 靈敏度和特異度的變動而變動,隨著靈敏度升高、特 異度降低。陰性預測值升高,陽性預測值降低:當靈敏 度、特異度不變時,隨著患病率的升高。陽性預測值升 高,陰性預測值降低。 ![]() 3.2.4 ROC曲線 盡管前面所列的Youden指數、陽f陰) 性似然 比、陽( 陰) 性預測值等指標綜合利用了真陽性率 ( TPR) 與假陽性率(FPR) 的信息,但這些指標都與 診斷界點( 或閾值) 的選取有關。例如,同一項檢測 方法.采用不同的診斷界點就有不同的TPR與FPR。 為了更全面地評價檢測方法的診斷價值.必須考慮 各種可能的診斷界點。 接收者工作特征(r e cei ver oper at i ng char a ct e ris t i c ) 或相對工作特征( r el at i ve opemt i ng char act er ist i c)曲線 簡稱ROC曲線fROC cun,e1。ROC分析于二十世紀五 十年代起源于統(tǒng)計決策理論.后來應用于雷達信號接 收能力的評價:自從八十年代起.該方法廣泛應用于 醫(yī)學診斷試驗性能的評價。通過改變診斷界點.獲得 多對11PR與FPR值.以FPR為橫坐標,r I’PR為縱坐標,繪制ROC曲線,計算與比較ROC曲線下面積,以 另外,成本效益分析( cas e be ne fi t al l alysi s,CBA)也是 此反映診斷試驗的診斷價值。 以假陽性率FPR『即( 1一特異度) 1為橫軸.真陽性率 3.3差異樣本的分析 TPRf即靈敏度) 為縱軸,橫軸與縱軸長度相等。形成正 對于檢測不一致的標本,應進行進一步的分析確 方形.在圖中將ROC曲線工作點標出。用直線連接各 認(金標準確認,第三方考核等)。若無同類試劑,可采 相鄰兩點構建未光滑的ROC曲線。ROC曲線一定通 用相關試劑進行平行檢測,對檢測結果不符的樣品可 過( 0,O)和( 1,1)兩點,這兩點分別對應于靈敏度為0而 以通過病例追蹤進行核對。 特異度為l ,和靈敏度為l 而特異度為O。理論上,當 d結{置 診斷試驗完全無價值時.有TPR=FPR.是一條從原點 到右上角的對角線,這條線稱為機會線f chanc e l i ne) ; 在實施一個臨床考核時,原則上要按照國家的相 ROC曲線一般位于機會線的上方.離機會線越遠.說 關政策要求進行,考評指標可酌情選擇,一般不會全 明診斷準確度越高:最好的診斷試驗在圖中表現為 選,但應包括準確性、可靠性及效益指標,尤其是準確 ROC曲線從原點垂直上升至左上角.然后水平到達右 性和可靠性指標是不能缺少的。而且希望大家在實施 卜角。 ROC曲線下面積( 記為1可反映診斷試驗的準確性 大小。這一指標取值范圍在0.5。l 之間,完全無價值 參考資料 的診斷為O.5,完全理想的診斷為1。一般認為為0.5。 【l 】《體外診斷試劑注冊管理辦法( 試行) 》,國食藥監(jiān)械[2007] 0.7時。表示診斷準確性較低;為O.7。O.9時.表示診斷 229號· 準確性為中等:為0.9以上時表示診斷準確性較高。 3.2.5 其它指標是否能實現早期診斷、是否對分型分期有用也可作為評價該診斷試驗是否有創(chuàng)新或優(yōu)勢的一項依據。另外,成本效益分析( cas e be ne fi t al l alysi s,CBA)也是一項評價指標。 3.3差異樣本的分析對于檢測不一致的標本,應進行進一步的分析確對于檢測不一致的標本,應進行進一步的分析確認(金標準確認,第三方考核等)。若無同類試劑,可采用相關試劑進行平行檢測,對檢測結果不符的樣品可以通過病例追蹤進行核對。 4. 結語在實施一個臨床考核時,原則上要按照國家的相關政策要求進行,考評指標可酌情選擇,一般不會全選,但應包括準確性、可靠性及效益指標,尤其是準確性和可靠性指標是不能缺少的。而且希望大家在實施過程中能注意改進和完善。 |
|