歡迎來到醫(yī)科研,這里是白介素2的讀書筆記,跟我一起聊臨床與科研的故事, 生物醫(yī)學數(shù)據(jù)挖掘文獻分享,R語言,TCGA數(shù)據(jù)、GEO數(shù)據(jù)庫, SEER數(shù)據(jù)挖掘, 臨床預測模型研究。 預測模型的研究報告規(guī)范我們清楚了嗎?本文是筆者本人學習筆記,做一小結,主要內容是來自 Tripod 2015 statement,筆者做了部分解讀。僅供大家參考學習,原文版權歸原作者所有。下一篇文章將會詳細的介紹 Checklist內容,一篇預測模型的文章究竟需要哪些內容? 如何報告臨床預測模型文章才是規(guī)范的?后期會進一步詳細去學習。 摘要開發(fā)預測模型來幫助醫(yī)療保健提供者評估存在特定疾病或狀況的可能性或風險(診斷模型)或將來會發(fā)生特定事件的可能性(風險模型),以告知他們的決策。但是,絕大多數(shù)證據(jù)表明,預測模型研究的報告質量很差。只有全面,清晰地報告有關預測模型各個方面的信息,才能充分評估存在偏倚的風險和預測模型的潛在應用價值。The Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD) 計劃提供了預測模型相關論文的報告規(guī)范建議。本文介紹了TRIPOD聲明是如何開發(fā)的。根據(jù)文獻回顧創(chuàng)建了一個廣泛的項目清單,在基于網絡的調查之后有所減少,并在2011年6月與方法學家,衛(wèi)生保健專業(yè)人員和期刊編輯舉行的為期3天的會議上進行了修訂。在指導小組的幾次會議上以及與更廣泛的TRIPOD貢獻者小組的電子郵件討論中,對清單進行了完善。最終的TRIPOD聲明是22項的checklist,被視為透明報告預測模型研究必不可少的。TRIPOD聲明旨在提高預測模型研究報告的透明度,而與所使用的研究方法無關。TRIPOD聲明最好與TRIPOD解釋和闡述文件結合使用。為了協(xié)助編輯過程和預測模型研究的讀者,建議作者在提交的內容中包括完整的清單(也可從www.tripod-statement.org獲得)。(也就是如果是預測模型相關的文章,你要投稿時提供一個完整的list給雜志,這樣讓編輯能夠很清晰的判斷報告質量) 編者注為了鼓勵傳播TRIPOD聲明,該文章同時發(fā)表在11個重磅雜志上,包括:Annals of Internal Medicine Web site (www.annals.org) and will be also published in BJOG, British Journal of Cancer, British Journal of Surgery, BMC Medicine, British Medical Journal, Circulation, Diabetic Medicine, European Journal of Clinical Investigation, European Urology, and Journal of Clinical Epidemiology. 介紹
簡單的理解就是得出一個風險估計:例如,病人術后發(fā)生感染的風險?患某個疾病后還能活多少年?這些疑問我們此前的回答可能會給出一個群體的數(shù)據(jù),但是預測模型則可根據(jù)個體化的情況來回答這個問題。 預測模型研究有哪些類型?
預測模型研究預測模型研究可大致歸類為模型開發(fā), 模型驗證(有或沒有更新)或 預測模型開發(fā)和驗證。模型開發(fā)研究旨在通過選擇相關的預測變量并將其統(tǒng)計組合為多變量模型來推導預測模型。Logistic和Cox回歸最常分別用于短期(例如,疾病相對于現(xiàn)在,30天死亡率)和長期(例如,十年風險)結果。研究還可能量化特定預測變量(例如,新發(fā)現(xiàn)的)對預測模型的增量或增加的預測值。
我們其實看到很多文章并沒有內部驗證。 在建立預測模型之后,強烈建議在模型開發(fā)所用的其他獨立數(shù)據(jù)中評估模型的性能。這種外部驗證要求對于新數(shù)據(jù)集中的每個人,都使用原始模型(即已發(fā)布的回歸公式)進行結果預測,并與觀察到的結果進行比較。外部驗證可以使用由相同研究者收集的參與者數(shù)據(jù),通常使用相同的預測變量和結果定義和度量,但從后期進行采樣(時間驗證或狹窄驗證);由另一家醫(yī)院或國家/地區(qū)的其他研究人員,有時使用不同的定義和度量(地理或廣泛的驗證);在相似的參與者中,但設置了不同的環(huán)境(例如,在二級保健中開發(fā)并在相似的參與者中進行評估但從初級保健中選擇的模型);甚至其他類型的參與者(例如,在成人中開發(fā)并在兒童中評估的模型,或用于預測致命事件并針對非致命事件進行評估的模型)。如果性能不佳,可以根據(jù)驗證數(shù)據(jù)集來更新或調整模型。 報告多因素預測模型開發(fā)或驗證多變量預測模型的研究為研究人員帶來了特定的挑戰(zhàn)。一些評論評估了描述開發(fā)或驗證預測模型的已發(fā)表報告的質量。例如,
這些評論和其他評論清楚地表明,在不同疾病地區(qū)和不同期刊上,預測模型研究的報告水平普遍較差。此外,這些評論表明,在統(tǒng)計方法上存在嚴重缺陷,使用小的數(shù)據(jù)集,對丟失的數(shù)據(jù)進行不適當?shù)奶幚硪约叭狈︱炞C是常見的。此類缺陷最終導致未使用或不應使用的預測模型。因此,相對于已發(fā)布的大量模型,很少有預測模型在臨床實踐中得到廣泛實施或使用。 這一點到是與我們的認知相符合, prognostic model現(xiàn)在Pubmed上成千上萬了估計有,但真正應用到臨床的模型卻非常少,大家都在忙于開發(fā)新模型,今天一個,明天又一個,沒有什么太大的意義。
預測模型研究的報告指南:TRIPOD聲明TRIPOD聲明,該指南專門設計用于報告開發(fā)或驗證多變量預測模型的研究的報告,包括診斷和預后模型。TRIPOD不適用于病因學研究中的多變量建?;蜓芯繂蝹€預后因素的研究。此外,與未使用模型相比,TRIPOD也不適用于量化使用預測模型對參與者或醫(yī)生的行為和管理,參與者健康結局或護理成本效益的影響研究。 已有的其它報告指南觀察性報告指南(加強流行病學觀察性研究報告[STROBE])[39];腫瘤標志物(對腫瘤標志物預后研究的報告建議[REMARK])[37];診斷準確性(用于診斷準確性研究報告的STAndards [STARD])[40];遺傳風險預測(Genetic RIsk Prediction Studies [GRIPS])[41]研究都包含許多與開發(fā)或驗證預測模型有關的項目。但是,這些指南都不完全適合于預測模型研究。與預測模型最相關的2條準則是REMARK和GRIPS。但是,REMARK清單的重點主要是預后因素,而不是預測模型,而GRIPS聲明旨在利用遺傳風險因素和圍繞處理大量遺傳變異的特定方法論問題進行風險預測。 TRIPOD應運而生, TRIPOD明確涵蓋了針對所有醫(yī)學領域和所有類型的預測因素的診斷和預后模型的開發(fā)和驗證。TRIPOD還更加重視驗證研究和此類研究的報告要求。(請參閱隨附的解釋和詳細說明文件[43];可在www.annals.org上找到)。 TRIPOD的組成TRIPOD聲明是22項檢查清單,對于開發(fā)或驗證多變量預測模型的研究進行良好報告至關重要(表1)。這些項目涉及標題和摘要(項目1和2),背景和目標(項目3),方法(項目4至12),結果(項目13至17),討論(項目18至20)和其他信息。(項目21和22)。 TRIPOD聲明涵蓋:
除了《 TRIPOD聲明》外,作者還以與其他報告準則相似的方式提供了支持性的解釋和闡述文件。每個清單項目都得到了解釋,并附有已發(fā)表文章的良好報告示例,這個闡釋文件我也會放到星球上,供大家下載學習。 Members of the TRIPOD Group我相信如果你看完下面這個列表,你是一個會思考的人,你肯定會跟我一樣深思: 為什么全是國外的大學,醫(yī)學中心,醫(yī)院,研究人員? 這樣的研究指南報告規(guī)范為什么不是由我們國家來參與、甚至去制定呢? 這又讓我想起來前段時間一個中科院的研究生不停的盜版別人的視頻發(fā)到B站,還樂此不疲;跟他苦口婆心溝通了半天,對牛彈琴;身處國家最高科學研究機構的人啊,不鉆研學業(yè),總干這個事。 作為醫(yī)生、研究生,科學家們,我輩仍需努力啊! Gary Collins (University of Oxford, Oxford, United Kingdom); Douglas Altman (University of Oxford, Oxford, United Kingdom); Karel Moons (University Medical Center Utrecht, Utrecht, the Netherlands); Johannes Reitsma (University Medical Center Utrecht, Utrecht, the Netherlands); Virginia Barbour (PLoS Medicine, United Kingdom and Australia); Nancy Cook (Division of Preventive Medicine, Brigham & Women's Hospital, Boston, Massachusetts); Joris de Groot (University Medical Center Utrecht, Utrecht, the Netherlands); Trish Groves (BMJ, London, United Kingdom); Frank Harrell, Jr. (Vanderbilt University, Nashville, Tennessee); Harry Hemingway (University College London, London, United Kingdom); John Ioannidis (Stanford University, Stanford, California); Michael W. Kattan (Cleveland Clinic, Cleveland, Ohio); André Knottnerus (Maastricht University, Maastricht, the Netherlands, and Journal of Clinical Epidemiology); Petra Macaskill (University of Sydney, Sydney, Australia); Susan Mallett (University of Oxford, Oxford, United Kingdom); Cynthia Mulrow (Annals of Internal Medicine, American College of Physicians, Philadelphia, Pennsylvania); David Ransohoff (University of North Carolina at Chapel Hill, Chapel Hill, North Carolina); Richard Riley (University of Birmingham, Birmingham, United Kingdom); Peter Rothwell (University of Oxford, Oxford, United Kingdom); Patrick Royston (Medical Research Council Clinical Trials Unit at University College London, London, United Kingdom); Willi Sauerbrei (University of Freiburg, Freiburg, Germany); Ewout Steyerberg (University Medical Center Rotterdam, Rotterdam, the Netherlands); Ian Stiell (University of Ottawa, Ottawa, Ontario, Canada); Andrew Vickers (Memorial Sloan Kettering Cancer Center, New York). 參考文獻pdf版本的文獻原文我已上傳到知識星球,供大家學習。 組建科研交流群通知
|
|