標簽： 協(xié)方差 協(xié)方差矩陣 統(tǒng)計

引言

最近在看主成分分析（PCA），其中有一步是計算樣本各維度的協(xié)方差矩陣。以前在看算法介紹時，也經(jīng)常遇到，現(xiàn)找了些資料復(fù)習，總結(jié)如下。

協(xié)方差

通常，在提到協(xié)方差的時候，需要對其進一步區(qū)分。（1）隨機變量的協(xié)方差。跟數(shù)學期望、方差一樣，是分布的一個總體參數(shù)。（2）樣本的協(xié)方差。是樣本集的一個統(tǒng)計量，可作為聯(lián)合分布總體參數(shù)的一個估計。在實際中計算的通常是樣本的協(xié)方差。

隨機變量的協(xié)方差

在概率論和統(tǒng)計中，協(xié)方差是對兩個隨機變量聯(lián)合分布線性相關(guān)程度的一種度量。兩個隨機變量越線性相關(guān)，協(xié)方差越大，完全線性無關(guān)，協(xié)方差為零。定義如下。

當XX，YY是同一個隨機變量時，XX與其自身的協(xié)方差就是XX的方差，可以說方差是協(xié)方差的一個特例。

或

協(xié)方差矩陣

多維隨機變量的協(xié)方差矩陣

樣本的協(xié)方差矩陣

在寫程序計算樣本的協(xié)方差矩陣時，我們通常用后一種向量形式計算。一個原因是代碼更緊湊清晰，另一個原因是計算機對矩陣及向量運算有大量的優(yōu)化，效率高于在代碼中計算每個元素。

需要注意的是，協(xié)方差矩陣是計算樣本不同維度之間的協(xié)方差，而不是對不同樣本計算，所以協(xié)方差矩陣的大小與維度相同。

很多時候我們只關(guān)注不同維度間的線性關(guān)系，且要求這種線性關(guān)系可以互相比較。所以，在計算協(xié)方差矩陣之前，通常會對樣本進行歸一化，包括兩部分：