【編者按】概率論和線性代數(shù)是機器學(xué)習(xí)的兩大基石?？墒牵u頭一樣厚的概率論教材讓許多人望而生畏。幸好數(shù)據(jù)科學(xué)家Jonny Brooks-Bartlett撰寫了一系列零基礎(chǔ)入門概率論的簡明教程。讓我們一起跟隨Jonny探索概率的世界吧。

這么些年來，我讀過很多關(guān)于概率論各個方面的文章，每篇文章看起來都需要不同級別的預(yù)備知識才能理解。我絕非這個領(lǐng)域的專家，但我覺得自己可以貢獻一系列文章。我希望這些文章可以解釋許多有關(guān)概率的概念。本文將是這個系列的第一篇，我將介紹一些基本定義。

定義和符號

通常概率至少和一個事件有關(guān)。這個事件可以是任何事。最簡單的例子包括投骰和從口袋中抓取有顏色的球。在這些例子中，事件的結(jié)果是隨機的（投骰時無法確定最終的點數(shù)），所以表示這些事件的結(jié)果的變量稱為隨機變量（常常縮寫為RV）。

我們常常想知道一個隨機變量取一個特定值的概率。例如，投擲一個均質(zhì)的6面骰時，點數(shù)是3的概率是多少？“均質(zhì)”一詞很重要，因為它告訴我們骰子落地時6個面（1、2、3、4、5、6）朝上的概率是相等的。從直覺上，你也許會說答案是1/6。沒錯！但我們?nèi)绾我詳?shù)學(xué)的形式表達這個呢？好，首先我們需要了解這里的隨機變量是與投骰相關(guān)的事件結(jié)果。通常，隨機變量用大寫字母表示，這里，我們用X表示。所以，我們想知道X=3的概率。但是數(shù)學(xué)家寫東西的時候可懶了，“概率是多少？”簡寫為字母P。因此，“當(dāng)我投一個均質(zhì)的6面骰時，點數(shù)為3的概率是多少？”在數(shù)學(xué)上記作“P(X=3)”。

概率的3種類型

我們上面介紹了隨機變量和概率的一些記法。然而，概率可能會變得非常復(fù)雜。也許首先需要理解的是概率有不同的類型。

邊緣概率（Marginal Probability） 事件A的邊緣概率為A發(fā)生的概率P(A)。例子：從一副撲克牌中抽出一張紅色的牌的邊緣概率是P(紅) = 0.5

聯(lián)合概率（Joint Probability） 兩個以上事件的交集的概率。我們可以用文氏圖（Venn Diagram）可視化這一概念，我們用兩個圓代表兩個事件，兩個圓重疊的部分即為聯(lián)合概率。（見下圖）事件A和B的聯(lián)合概率寫作P(A ∩ B)。例子：從一副撲克牌中抽出一張紅色的4的概率為P(紅4) = 2/52 = 1/26。（一副撲克牌有52張牌，想抽到的是紅心4和方塊4）。后面我們會詳細(xì)討論這個例子。

條件概率（Conditional Probability） 條件概率是已知某（些）事件已經(jīng)發(fā)生的前提下，另一（些）事件發(fā)生的概率。已知事件B已經(jīng)發(fā)生時，事件A發(fā)生的條件概率寫作P(A|B)。例子：已知我們抽到了一張紅色的牌，這張牌是4的概率為P(4|紅) = 2/26 = 1/13 （一副撲克牌有52張牌，26張紅色的，26張黑色的?，F(xiàn)在因為我們已經(jīng)抽到了一張紅色的牌，我們知道我們抽取的范圍是26張牌，因此第一個除數(shù)是26）。

文氏圖的重疊之處表示聯(lián)合概率，也就是事件A和事件B同時發(fā)生的概率。如果事件之間沒有重疊，那么聯(lián)合概率將是零。

連接概率類型：乘法法則

乘法法則是一個連接所有3種概率類型的美麗等式：

例子的進一步解釋

有時候聯(lián)合概率和條件概率的區(qū)別相當(dāng)令人困惑，所以讓我們嘗試用抽撲克牌的例子來理解兩者的區(qū)別。

當(dāng)我們想要知道抽到一張紅色的4的撲克牌的概率（紅色和4的聯(lián)合概率）時，我想讓你想象一下，把所有52張牌面朝下放置，然后隨機選中一張。在這52張牌中，有2張是紅色的，同時數(shù)字是4（紅心4和方塊4）。所以聯(lián)合概率是2/52 = 1/26。

而當(dāng)我們想要知道已知抽中的牌是紅色的時候，抽中數(shù)字是4的牌的概率，即條件概率P(4|紅)時，我想讓你再想象一下有52張牌。不過，在隨機抽取一張牌之前，你給所有撲克牌排了個序，選中了所有26張紅色的牌?，F(xiàn)在你把這26張牌面朝下放置，然后隨機選擇一張牌。同樣，這些紅色的牌中有兩張數(shù)字為4，所以條件概率是2/26 = 1/13

如果你偏好數(shù)學(xué)，那我們也可以轉(zhuǎn)而使用上面定義的乘法法則來計算聯(lián)合概率。我們首先整理一下等式，讓聯(lián)合概率P(A ∩ B)成為等式的主題（換句話說，我們把P(A ∩ B) 放到等號的左邊，把其他項都放到等號的右邊）。重新整理后，我們得到P(A ∩ B) = P(A|B) ? P(B)。讓我們設(shè)定事件A是牌的數(shù)字為4的事件，事件B是牌的顏色是紅色的事件。如前所述，P(A|B) = 1/13，而P(B) = 1/2（一半的牌是紅色的）。因此P(A ∩ B) = 1/13 ? 1/2 = 1/26。

概率法則：“和”與“或”

和

在聯(lián)合概率中，我們已經(jīng)遇到過“和”的情況，然而，我們并不知道如何計算“和”的概率。所以讓我們來看一個例子。假設(shè)我們有兩個事件：事件A——拋擲一枚均質(zhì)的硬幣，事件B——投擲一枚均質(zhì)的骰子。我們也許會想知道骰子的點數(shù)是6而硬幣正面朝上的概率。所以，為了計算骰子點數(shù)為6和硬幣正面朝上的概率，我們可以把上面的乘法法則重新整理一下P(A ∩ B) = P(A|B) ? P(B)。我們知道事件A是丟硬幣而事件B是扔骰子。因此P(A|B)意味著“當(dāng)我們已經(jīng)扔出一枚點數(shù)為6的骰子時，拋出一枚正面朝上的硬幣的概率”是多少？”直覺告訴我們，丟硬幣與扔骰子無關(guān)。這兩個事件是獨立（independent）事件。在這個場景下，不管骰子的點數(shù)是多少，丟硬幣得到的結(jié)果都是一樣的。數(shù)學(xué)上我們將其表達為P(A|B) = P(A)。因此，當(dāng)事件相互獨立時，聯(lián)合概率為獨立事件的邊緣概率的乘積：P(A ∩ B) = P(A) ? P(B)。因此P(硬幣正面朝上和骰子點數(shù)為6) = P(A=正面, B=6) = 1/2 x 1/6 = 1/12。

注意上面的P(A=正面, B=6)，事件之間的逗號是聯(lián)合概率的簡寫。

值得注意的是，在現(xiàn)實世界的場景中，事件被假定為獨立的（即使事實上并非如此）。這主要是因為，假定事件是獨立的大大簡化了數(shù)學(xué)。附帶的好處是所得的結(jié)果通常很有用。在數(shù)據(jù)科學(xué)中，樸素貝葉斯可能是這方面最常見的例子。樸素貝葉斯通常能很好地處理文本分類問題。

或

在“和”法則中，我們將單獨概率相乘。在“或”的場景下，我們需要將單獨概率相加，然后減去交集。在數(shù)學(xué)上，我們將其寫作P(A ∪ B) = P(A) + P(B) - P(A ∩ B)。你可能會問，為什么我們要這么做？好吧，讓我們回顧一下上文中的文氏圖。如果我們把A圓和B圓相加，那么其中的重疊部分算了兩次。因此，我們需要減去交集。

所以，讓我們把上面的例子改成尋找投出點數(shù)為6的骰子或扔出正面向上的硬幣的概率。這是P(硬幣正面向上或骰子點數(shù)為6) = P(A=正面 ∪ B=6) = 1/2 + 1/6 - 1/12 = 7/12

注意，我們使用并集符號∪表示“或”的場景。

有些情況下我們不必減去交集。如果文氏圖中的兩個圓沒有重疊部分，那我們自然就不用減去交集了。當(dāng)代表兩個事件的圓沒有重疊部分的時候，我們說這兩個事件互斥（mutually exclusive）。這意味著兩者的交集為零，在數(shù)學(xué)上寫作P(A ∩ B) = 0。讓我們看一個例子。假定我們想知道擲出點數(shù)為5或6的骰子的概率。這兩個事件是互斥的，因為我們不可能同時擲出5點和6點。因此，它們在文氏圖中的圓互不重疊。所以，擲出5點或6點的概率等于1/6 + 1/6 = 1/3 （我們沒有減去任何東西）。

總結(jié)

謝謝你讀到這里。我希望上面的這些閑扯易于理解，即使你沒學(xué)到什么新東西。如果上面有什么不清楚的地方，或者我有什么錯誤，請留言指出。在接下來的文章中我將介紹一些更高級的概念。本系列的下一篇文章中將通過一個例子解釋最大似然。