假設(shè)某市流行一種病，發(fā)病率是0.1% 。在某地的醫(yī)院中有一個神醫(yī)，特別擅長診斷該病。神醫(yī)做出正確判斷的概率是99%。（神醫(yī)并不清楚發(fā)病率，做出正確判斷的概率實在實驗室得出來的。對于檢查是否患病的人，他的正確率不變。）有一次你去看病，神醫(yī)診斷說你有這個病。請問你真正有這個病的概率是多少？

圖1 神醫(yī)

圖2 生病的你

大家不妨在往下讀之前可以先自己想想自己的思路，看看自己想的和我后面寫的有沒有相通之處。

問題作者借此題說了他的貝葉斯模型的思路，并認(rèn)為這樣想理所當(dāng)然。我看了以后，覺得貝葉斯確實是一個流行的好想法，但是卻并不是唯一想法，聯(lián)想到一些其他思路和對模糊的題意理解方式，我認(rèn)為有三種學(xué)派和理解以及四個不同答案，而且，不僅答案值不一樣，他們相互之間并沒有可比性，因為他們對題中要求的答案的定義都完全不同。

從中我們會回顧從概率統(tǒng)計到機器學(xué)習(xí)的一些經(jīng)典模型，希望讀之能有所收獲。

頻率學(xué)派

頻率學(xué)派認(rèn)為，自然界的某些性質(zhì)會保持不變，這些性質(zhì)被叫作“參數(shù)”的東西記錄下來，這個玩意的變量特性是常數(shù)，往往是未知而不變的。而這些性質(zhì)唯一的觀測方式就是由帶有這個性質(zhì)的系統(tǒng)產(chǎn)生的變量。比如人群的身高期望，硬幣正面向上的概率等，通過抽一群人測身高，扔一堆硬幣，我們可以就可以比較準(zhǔn)確的計算人群身高和硬幣正面向上概率這兩個性質(zhì)。

問題來了，到底測多少人身高算夠？扔多少次硬幣算夠？能夠準(zhǔn)確地測量這個參數(shù)？

實踐上，對于這種一元變量，測個幾十上百次基本上就比較穩(wěn)定，可以近似當(dāng)成真值了。而對于復(fù)雜問題，這種平常經(jīng)驗卻是無效的。比如，你要抽樣多少個對話系統(tǒng)的答案，多少query的搜索結(jié)果，所得統(tǒng)計結(jié)論才能在多少置信度下提升多少？

頻率學(xué)派最重要的思考就是把置信度計算，假設(shè)檢驗語言這一套理論說清楚了，而它的大前提是每個量：哪個是參數(shù)，是哪個分布的什么參數(shù)，哪個是變量，是哪個分布產(chǎn)生的變量，要定義得一清二楚。在這個條件下，我們可以計算一般意義的點估計，置信區(qū)間估計，這兩種套路給了我們兩種回答問題的模式，對應(yīng)解決問題到兩個程度：

點估計，給出估計值以及性質(zhì)：參數(shù)的極大似然/矩估計值是X，具有無偏/有效/一致等興致：

置信區(qū)間估計，給出置信區(qū)間以及置信度：參數(shù)在A的置信度下的置信區(qū)間是[X, Y]；

前者的估計值往往就近似地拿著去做推斷了，但是嚴(yán)格來看還要做復(fù)雜的推斷結(jié)果的分布計算以及置信度計算等；而后者一般就讓人聽著舒服一下，覺得還比較可信和范圍接受就完事了，因為不知道具體值為多少，不好再往下推演了。

但是統(tǒng)計學(xué)最基本的，還需要能回答一些老板關(guān)于是還是否的問題：

人口平均身高到底超過170沒有？硬幣向上的概率超過0.6沒有？

其實這些問題和參數(shù)值一樣，都不可以直接觀測，偉大的頻率學(xué)派學(xué)者發(fā)明了假設(shè)檢驗語言，在上面基礎(chǔ)上，能對任何這類相關(guān)的判斷類問題給出答案，并給出所謂檢驗水平來說明答案置信程度（p值法）；

p值法那個p值啊，就是一個評價指標(biāo)而已，用的是超出假設(shè)范圍的隨機變量的可能性大小。

所以，整個頻率學(xué)派留下來的精華就是：給出性質(zhì)不錯的參數(shù)值，不信就給個區(qū)間和置信度，硬是要我下結(jié)論，就假設(shè)檢驗好了。而做這些事情的前提是定義清楚參數(shù)，變量和分布形式。頻率學(xué)派就是這么一套方法論和建模思路。

在本問題上實踐一下這個建模思路：如果有病與否是個確定的未知參數(shù)，那要么通過對該參數(shù)下產(chǎn)生的樣本來估計，要么有人直接告訴我參數(shù)值為多少，或者置信度為何，就像上帝視角一樣給出已知條件。本問題中，并沒有估計樣本，這個參數(shù)值也和發(fā)病率沒有任何關(guān)系，僅能把醫(yī)生的判斷作為該未知參數(shù)值的1的置信度，即：

結(jié)論一：

根據(jù)醫(yī)生的說法，有病與否這個參數(shù)為1的置信度為0.99。

這個置信度，和扔了一堆硬幣樣本算的硬幣正面向上概率在一個區(qū)間X內(nèi)的置信度為Y是一個意思，只不過這里的向上概率這個[0, 1]范圍的變量為估計參數(shù)，問題中有病與否這個bool變量為估計參數(shù)。

自然地，這里還有另外一個思路：得病概率是未知參數(shù)，得病結(jié)論是唯一的變量。此時，這個變量并不可觀測，頻率學(xué)家眼里，醫(yī)生這種不能打保票的話是不予采納的！那得了，這個參數(shù)相關(guān)分布的變量，得沒得病這件事沒有絕對的觀測，咋辦，不怕啊，上帝告訴我了發(fā)病率啊，這個不就是適用每個人的得病概率??！

結(jié)論二：

根據(jù)發(fā)病率信息，有病與否的概率值為0.001。

怎么樣，是不是感覺頻率學(xué)派有點生硬，無法融合多方信息，非黑即白，結(jié)論邏輯通順但是似乎并不那么好用？

正式這樣，貝葉斯學(xué)派才體現(xiàn)它的價值。

貝葉斯學(xué)派

貝葉斯同學(xué)和他的信徒們清晰地意識到了客觀世界之復(fù)雜，變量直接的影響關(guān)系往往順序地有好幾個層次，并不像一般地參數(shù)-隨機變量這樣單一。而他們的具體建模方式是：一個對象既可以作為某個分布的隨機變量結(jié)果，也可以作為下一個分布的參數(shù)或到此終止。至于有多少層次和相互的因果關(guān)系法則，這要看具體的實際問題假設(shè)來構(gòu)建，頻率學(xué)派的一層模型僅僅是最簡單的特例。我們能夠處理估計任何參數(shù)值的問題（往往是極大似然估計）以及某變量在所有信息條件下的分布問題。

在這里，根據(jù)題意，構(gòu)建貝葉斯DAG（有向無環(huán)圖）如下：

P1: 得病概率，這里即是發(fā)病率，為已知參數(shù)，P1 = 0.001；

X: 是否得病的隨機變量，服從伯努利分布：X ~ B(1, P1)；

Y: 神醫(yī)的診斷結(jié)果，依據(jù)題意，有：(Y==X) ~ B(1, P2)，P2 = 0.99；

在這個模型中，所有的參數(shù)都是已知的，不需要做參數(shù)估計，一切隨機變量的分布就都可以計算。

故原題所求即為：

結(jié)論三：

根據(jù)發(fā)病率先驗和神醫(yī)診斷后驗判斷，由貝葉斯公式，得得病與否的隨機變量的后驗分布仍然為伯努利分布，其分布參數(shù)約為0.090。

香農(nóng)信息學(xué)派

這里泛指熵的引入，以及無向圖模型的系統(tǒng)描述方法等一系列成果。

香農(nóng)同學(xué)在他的碩士研究論文中奠定了直到今天還在沿用的信息論基礎(chǔ)，在統(tǒng)計學(xué)中的意義即是，統(tǒng)一了市面上給出的幾乎所有的分布表達(dá)式的共同源頭：最大熵模型，并且逐漸總結(jié)出了指數(shù)分布族這樣的工具方便地對任意分布形式進行建模。

貝葉斯的有向圖模型的問題是，無論是否存在，必須假定一個變量間的順序生成過程，這個在一些時空系統(tǒng)中大體成立，可是你要硬說是因為體重重所以身高高還是反過來成立，就怎么說都有點牽強了。強行構(gòu)造的因果一定會因為和真實生成過程不符合導(dǎo)致最后的模型效果的偏離啊。有些變量之間是看不見摸不著的相關(guān)關(guān)系，并沒有誰先誰后的因果關(guān)系??！

于是，我們把所有要研究的認(rèn)為重要的變量列出來，按照認(rèn)定其有無直接關(guān)系，即在其他變量都已知的條件下，二這是否獨立這件事的答案來決定是否連上一條無向邊，最后找到最大團計算勢函數(shù)，根據(jù)Hammersley-Clifford定理，得到最后的分布表達(dá)式。

我覺得，這些知識的大致邏輯是這樣的：無向圖提供了一種表達(dá)關(guān)系的方法（因子圖也是，有向圖也是，甚至還包括工程上CRF模型用的特征模版也是如此。），最大熵模型是一個給定約束條件下求解最佳分布的準(zhǔn)則，執(zhí)行的的最大信息熵目標(biāo)，達(dá)到的是平均來看最小的和真實分布的交叉熵。而Hammersley-Clifford定理，則恰是在無向圖方式限定函數(shù)的變量關(guān)聯(lián)方式條件下最大熵模型的結(jié)論形式罷了。

回到我們研究的問題，如果用無向圖模型來理解，其圖示應(yīng)該是這樣的：

字母含義同貝葉斯模型，且嚴(yán)格來說，P1，P2是兩個X，Y分布的約束，而不再是一個分布的固定參數(shù)了。

其對應(yīng)的最大熵模型為：

注意，最后求解答案所用的公式是條件概率公式而已，并不是貝葉斯模型，貝葉斯模型的核心的有向圖加條件概率公式。

這里所選取的特征僅有兩個，而且都是給定了特征函數(shù)期望值的，由于沒有真正的樣本，所以沒有很好的條件去使用其他的特征了，否則這個約束下的最優(yōu)化問題就沒法給出一個簡單的唯一可行解，也是最優(yōu)解了。

結(jié)論四：

根據(jù)最大熵模型準(zhǔn)則，在題設(shè)條件都成立的條件下，得到的最大熵模型的解，由條件概率公式得，此時得病概率為0.910。

總結(jié)

哈哈，一道這么簡單的問題搞出四個大相徑庭的答案來了，有必要么，到底信誰的呢？其實啊，這些結(jié)論都是在各自的理論下站的住腳的，也是完全不同的世界觀，方法論的推演結(jié)果，雖然都是一個數(shù)，但他們并無可比性，所代表的含義分別為參數(shù)置信度，變量服從分布的參數(shù)值，后驗概率以及最大熵的解下的條件概率。他們互相井水不犯河水。

這些思考不能幫助你迅速解決這個問題，但是能幫助提升你的思維能力到一個新的檔次。

對以上的內(nèi)容大家覺得有沒有補充的？歡迎在文末留言討論！

好了，今天的數(shù)學(xué)魔術(shù)分享就到這里，希望各位客官能夠喜歡！這里是MatheMagician，有你要的奇跡！