假設(shè)檢驗(yàn)

1、假設(shè)檢驗(yàn)的由來

我們先看一個(gè)例子：

那么如何檢驗(yàn)這位女士的說法呢？FISHER進(jìn)行了研究，從而提出了假設(shè)檢驗(yàn)的思想。

比如：

正常情況下我們?nèi)ゲ孪鹊共柽€是先倒牛奶的話，概率應(yīng)該是1/2，

1.總共檢驗(yàn)了兩杯，全部猜對(duì)的概率是：0.5??0.5=0.25，雖然概率很低，但是也算正常；

2.繼續(xù)猜，又猜了兩次，也全部猜對(duì)了幾率是=0.0625，這個(gè)概率明顯是非常低了，有點(diǎn)不正常了，但是會(huì)不會(huì)還是運(yùn)氣呢？

3.我們繼續(xù)猜，加大樣本，如果連續(xù)猜對(duì)10杯，那么我認(rèn)為這位女士確實(shí)有特殊的能力。

雖然我們上面說猜對(duì)10杯來確認(rèn)這位女士有特殊能力，這只是我們的臆測，我們假設(shè)一個(gè)x，當(dāng)這位女士能夠猜對(duì)x杯才認(rèn)為這位女士確實(shí)有特殊的能力，其實(shí)對(duì)于我們最難的是來確認(rèn)著x。

下面我們就來看一下怎么樣來確認(rèn)這個(gè)x。

2、什么是假設(shè)檢驗(yàn)

假設(shè)檢驗(yàn)(Hypothesis Testing)：是推斷統(tǒng)計(jì)的最后一步，是依據(jù)一定的假設(shè)條件由樣本推斷總體的一種方法。

你提出你的假設(shè)：說你有特殊的能力，可以品出先倒茶還是牛奶；

我提出要檢驗(yàn)?zāi)愕募僭O(shè)：品十(x)杯，看實(shí)驗(yàn)結(jié)果是不是和你說的假設(shè)相符

假設(shè)檢驗(yàn)的基本思想是小概率反證法思想，小概率思想認(rèn)為小概率事件在一次試驗(yàn)中基本上不可能發(fā)生，在這個(gè)方法下，我們首先對(duì)總體作出一個(gè)假設(shè)，這個(gè)假設(shè)大概率會(huì)成立，如果在一次試驗(yàn)中，試驗(yàn)結(jié)果和原假設(shè)相背離，也就是小概率事件竟然發(fā)生了，那我們就有理由懷疑原假設(shè)的真實(shí)性，從而拒絕這一假設(shè)。

假設(shè)檢驗(yàn)其實(shí)就是假設(shè)和檢驗(yàn)兩步，先提出假設(shè)，之后再來驗(yàn)證假設(shè)是不是合理的。

3、P值

為了完成假設(shè)檢驗(yàn)，需要先定義一個(gè)概念：P值。

根據(jù)上面的描述，這里假設(shè)檢驗(yàn)的思路就是：

 假設(shè)：這位女士不能準(zhǔn)確的猜出先倒茶還是牛奶（沒有確鑿證據(jù)一般不推翻的假設(shè),正常情況下我們都不能猜出先倒茶還是牛奶，所以我們假設(shè)這位女士不能準(zhǔn)確的猜出先倒茶還是牛奶）

檢驗(yàn)：認(rèn)為假設(shè)是成立的，然后猜十次，看結(jié)果與假設(shè)是否相符

猜奶茶的實(shí)驗(yàn)應(yīng)該符合二項(xiàng)分布（這就不解釋了），也就是：

X~(n,)          其中，n代表猜的次數(shù)，u代表猜對(duì)的概率。

在我們認(rèn)為猜之前沒有泄密(也就是確實(shí)是憑自己的嗅覺去猜)的前提下，猜10次應(yīng)該符合以下分布：

X~(10,0.5) 

下圖表示的就是，假如猜是公平的情況下的分布圖：

P=  * ()* () =0.0439

也就是說猜10次能猜對(duì)8次的概率是0.0439

為了方便大家計(jì)算，附上python代碼：

import operator
from functools import reduce
def c(n,k):
    return  reduce(operator.mul, range(n - k + 1, n + 1)) /reduce(operator.mul, range(1, k +1))
def fac(n):
    return reduce(operator.mul, range(1,n+1))
print (c(10,8))
print (fac(5))

把八次猜對(duì)概率，與更極端的九次猜對(duì)、十次猜對(duì)的概率加起來：

為什么要把更極端的情況加起來？

根據(jù)猜奶茶這個(gè)例子，可能你會(huì)覺得，我知道八次猜對(duì)出現(xiàn)不正常就行了，干嘛要把九次、十次加起來？

比如我們要猜1000次用二項(xiàng)分布來計(jì)算很麻煩，根據(jù)中心極限定理，我們知道，可以用正態(tài)分布來近似：

但是，對(duì)于正態(tài)分布，我沒有辦法算單點(diǎn)的概率（連續(xù)分布單點(diǎn)概率為0），我只能取一個(gè)區(qū)間來算極限，所以就取530、以及更極端的點(diǎn)組成的區(qū)間：

（我上面只取了單側(cè)P值，說明下：取單側(cè)還是雙側(cè)，取決于你的應(yīng)用，什么叫做更極端的點(diǎn)，也取決于你的應(yīng)用）

3.1、單側(cè)檢驗(yàn)

• 當(dāng)關(guān)鍵詞有不得少于/低于的時(shí)候用左側(cè)，比如燈泡的使用壽命不得少于/低于700小時(shí)時(shí)

  當(dāng)關(guān)鍵詞有不得多于/高于的時(shí)候用右側(cè)，比如次品率不得多于/高于5%時(shí)

3.2 雙側(cè)檢驗(yàn)

• 單側(cè)檢驗(yàn)指按分布的一側(cè)計(jì)算顯著性水平概率的檢驗(yàn)。用于檢驗(yàn)大于、小于、高于、低于、優(yōu)于、劣于等有確定性大小關(guān)系的假設(shè)檢驗(yàn)問題。這類問題的確定是有一定的理論依據(jù)的。假設(shè)檢驗(yàn)寫作：μ1<μ2或μ1>μ2。

• 雙側(cè)檢驗(yàn)指按分布兩端計(jì)算顯著性水平概率的檢驗(yàn)， 應(yīng)用于理論上不能確定兩個(gè)總體一個(gè)一定比另一個(gè)大或小的假設(shè)檢驗(yàn)。一般假設(shè)檢驗(yàn)寫作H1：μ1≠μ2。

4、顯著水平

總共猜10次，那么是出現(xiàn)7次猜對(duì)，可以認(rèn)為有特殊能力，還是9次猜對(duì)之后我才能確認(rèn)有特殊能力，這是一個(gè)較為主觀的標(biāo)準(zhǔn)。

我們一般認(rèn)為

P-value<=0.05

就可以認(rèn)為假設(shè)是不正確的。

0.05這個(gè)標(biāo)準(zhǔn)就是顯著水平，當(dāng)然選擇多少作為顯著水平也是主觀的。

比如，我們猜奶茶的例子，如果取單側(cè)P值，那么根據(jù)我們的計(jì)算，如果10次猜對(duì)9次：

P-value=P(9<=X<=10)=0.01<=0.05

我們可以認(rèn)為剛開始的假設(shè)(這位女士不能準(zhǔn)確的猜出先倒茶還是牛奶)錯(cuò)的很“顯著”，也就是是有特殊能力的。

5、假設(shè)檢驗(yàn)步驟

我們回顧下我們剛才所說的，總結(jié)下：

這里簡單說下檢驗(yàn)統(tǒng)計(jì)量 

檢驗(yàn)統(tǒng)計(jì)量是用于假設(shè)檢驗(yàn)計(jì)算的統(tǒng)計(jì)量。在零假設(shè)情況下，這項(xiàng)統(tǒng)計(jì)量服從一個(gè)給定的概率分布，而這在另一種假設(shè)下則不然。從而若檢驗(yàn)統(tǒng)計(jì)量的值落在上述分布的臨界值之外，則可認(rèn)為前述零假設(shè)未必正確。統(tǒng)計(jì)學(xué)中，用于檢驗(yàn)假設(shè)量是否正確的量。常用的檢驗(yàn)統(tǒng)計(jì)量有t統(tǒng)計(jì)量，Z統(tǒng)計(jì)量等。

6、實(shí)例

我們這里舉2個(gè)例子：

首先我們先引入一個(gè)檢驗(yàn)統(tǒng)計(jì)量分布的選擇規(guī)則

例1:

某機(jī)床廠加工一種零件，根據(jù)經(jīng)驗(yàn)知道，該廠加工零件的橢圓度近似服從正態(tài)分布，其總體均值為μ=0.081mm，總體標(biāo)準(zhǔn)差為σ= 0.025 。今換一種新機(jī)床進(jìn)行加工，抽取n=200個(gè)零件進(jìn)行檢驗(yàn)，得到的橢圓度為0.076mm。試問新機(jī)床加工零件的橢圓度的均值與以前有無顯著差異？（α＝0.05）

 我們知道總體均值和總體方差，根據(jù)上圖的規(guī)則可以看出我們可以用Z統(tǒng)計(jì)量：

例2:

以往通過大規(guī)模調(diào)查已知某地新生兒出生體重為3.30kg。從該地難產(chǎn)兒中隨機(jī)抽取35名新生兒,平均出生體重為3.42kg,標(biāo)準(zhǔn)差為0.40kg,問該地難產(chǎn)兒出生體重是否與一般新生兒體重不同?

本例自由度v=n-1=35-1=34，查表得得t0.05/2,34=2.032。 因?yàn)閠 < t0.05/2,34，故P>0.05，按 α=0.05水準(zhǔn)，不拒絕H0，差別無統(tǒng)計(jì)學(xué)意義，尚不能認(rèn)為該地難產(chǎn)兒與一般新生兒平均出生體重不同。

以上就是對(duì)假設(shè)檢驗(yàn)思想的一個(gè)簡單介紹，其實(shí)對(duì)于理論的介紹理解起來比較晦澀，就像我們用1+1=2很簡單，要是理解1+1為什么等于2就難了。假設(shè)檢驗(yàn)在運(yùn)用的時(shí)候就像最后的兩個(gè)例子，其實(shí)是很簡單的，但是對(duì)于理論的理解就需要比較長的時(shí)間。