CDA level I考試大綱 Part1 數(shù)據(jù)分析概念與統(tǒng)計(jì)學(xué)基礎(chǔ) 占考試比例的30%；

共分5個(gè)知識(shí)方向，考試占比分布如下：數(shù)據(jù)分析概念，方法論 流程 5% 描述性統(tǒng)計(jì)分析 12% 推斷性統(tǒng)計(jì)分析8% 方差分析2% 一元線性回歸分析3%；

第1個(gè)知識(shí)方向的筆記，數(shù)據(jù)分析概念，方法論 流程，再考試題目中出題概率占5%；

一、數(shù)據(jù)分析概念

目標(biāo)：以數(shù)據(jù)為分析對(duì)象，以探索數(shù)據(jù)內(nèi)的有用信息為主要途徑，以解決業(yè)務(wù)需求為最終目標(biāo)而建立的一整套分析流程

流程：業(yè)務(wù)理解，數(shù)據(jù)采集，數(shù)據(jù)清洗，數(shù)據(jù)探索，數(shù)據(jù)可視化，數(shù)據(jù)建模，模型結(jié)果可視化，分析結(jié)果的業(yè)務(wù)應(yīng)用；

目的：是為業(yè)務(wù)發(fā)展答疑解惑；

分析層次：描述了 過去發(fā)生了什么，現(xiàn)在正在發(fā)生什么以及未來可能發(fā)生什么。

分析級(jí)別：常規(guī)報(bào)表，即席查詢，多維分析，警報(bào)；描述階段 統(tǒng)計(jì)分析，預(yù)報(bào)（時(shí)間序列預(yù)測），預(yù)測型模型（預(yù)測性 prdictive模型），優(yōu)化；挖掘階段

數(shù)據(jù)挖掘（Data mining）是一個(gè)跨學(xué)科的計(jì)算機(jī)科學(xué)分支，是用人工智能，機(jī)器學(xué)習(xí)，統(tǒng)計(jì)學(xué)和數(shù)據(jù)庫的交叉方法在相對(duì)較大型的數(shù)據(jù)集中發(fā)現(xiàn)模式的計(jì)算過程。

大數(shù)據(jù)對(duì)傳統(tǒng)小數(shù)據(jù)分析的拓展及區(qū)別聯(lián)系： 數(shù)據(jù)上：小數(shù)據(jù)重抽樣，大數(shù)據(jù)重全體；

                                                                     方法上：小數(shù)據(jù)重實(shí)證，大數(shù)據(jù)重優(yōu)化；

                                                                     目標(biāo)上：小數(shù)據(jù)重解釋，大數(shù)據(jù)重預(yù)測；

數(shù)據(jù)分析目標(biāo)的意義過程及本質(zhì)： 數(shù)據(jù)分析涉及到公司運(yùn)營的方方面面；重頭戲是客戶和市場。

二、數(shù)據(jù)分析的方法論：

      CRISP-DM：將數(shù)據(jù)挖掘項(xiàng)目生命周期分為6個(gè)階段

                           業(yè)務(wù)理解(Business understanding） 

                           數(shù)據(jù)理解（Data Understanding） 

                           數(shù)據(jù)準(zhǔn)備（Data preparation） 

                           建模（modeling） 

                           模型評(píng)估（evaluation） 

                           模型發(fā)布（deployment）

      SEMMA：SAS公司根據(jù)CRISP-DM進(jìn)行了拓展,將數(shù)據(jù)分析分為了5個(gè)步驟： 

                        數(shù)據(jù)整理（sample）構(gòu)造分析用的到的數(shù)據(jù)，將散落在內(nèi)部和外部的數(shù)據(jù)進(jìn)行整合。 

                        樣本探索（explore）對(duì)數(shù)據(jù)質(zhì)量進(jìn)行探索。變量質(zhì)量：錯(cuò)誤值，恰當(dāng)性，缺失值，一致性，平穩(wěn)性，重復(fù)值，及時(shí)性）變量錯(cuò)誤時(shí) 是否可以修改，是否可以使用的問題 

                        變量修改（modify）數(shù)據(jù)質(zhì)量問題的修改涉及：改正錯(cuò)誤編碼，缺失值填補(bǔ)，單位統(tǒng)一等操作，變量分布情況的修改涉及：函數(shù)轉(zhuǎn)換和標(biāo)準(zhǔn)化方法。

                        建模（model）選取合適的模型

                        模型檢驗(yàn)（assess）模型樣本內(nèi)驗(yàn)證

三、數(shù)據(jù)分析師在業(yè)務(wù)流程中的作用角色和職責(zé)：

       數(shù)據(jù)分析師在業(yè)務(wù)與數(shù)據(jù)間起到協(xié)調(diào)的作用，是業(yè)務(wù)問題能否成功轉(zhuǎn)換成統(tǒng)計(jì)問題的關(guān)鍵。協(xié)調(diào)者，數(shù)據(jù)分析師，報(bào)告人的角色決定了數(shù)據(jù)分析師是一名綜合性人才。

第2個(gè)知識(shí)方向 描述性統(tǒng)計(jì)分析 ，再考試中題型分布占12%

大綱要求熟知領(lǐng)會(huì)知識(shí)點(diǎn)：衡量數(shù)據(jù)集中趨勢，離中趨勢和數(shù)據(jù)分布的常用指標(biāo)及計(jì)算方法；統(tǒng)計(jì)圖形的繪制 元素調(diào)整，可視化效果---條形圖，線圖，直方圖，盒須圖，散點(diǎn)圖，氣泡圖，馬賽克圖，玫瑰圖 明確統(tǒng)計(jì)圖形對(duì)統(tǒng)計(jì)指標(biāo)表達(dá)上的對(duì)應(yīng)關(guān)系。

一、數(shù)據(jù)的計(jì)量尺度：

計(jì)量分類：名義測量：（nominal measurement）最低的測量等級(jí)，這類變量一般不做高低大小區(qū)分，數(shù)值僅代表某些分類和屬性。

                 次序測量：（ordinal measurement）量化水平高于名義測量，數(shù)值代表了一些有序分類，具有一定的順序性

                 連續(xù)變量測量（間距測量）：（interval measurement）量化程度更高一些。取值不再是類的編碼，采用了一定單位的實(shí)際測量值?？蛇M(jìn)行加減運(yùn)算。不能乘除。0值不是物理上的絕對(duì)0；

                 連續(xù)變量測量（比例測量）：（ratio measurement）最高級(jí)的測量等級(jí)，具有間距測量額所有性質(zhì)，且0值有物理上的絕對(duì)意義，可以進(jìn)行加減乘除。

變量分類：分類變量：通?？梢詸z查變量的 眾數(shù)，分類取值的百分比間的差別大小，有無太小的比例（異常值）

                                   頻次：每個(gè)水平出現(xiàn)的次數(shù)

                                   百分比：每個(gè)水平出現(xiàn)的頻數(shù)/總數(shù)

                                   累積頻次與累積百分比：僅對(duì)于次序變量有意義，分別計(jì)算累積頻次和百分比

                 順序變量：眾數(shù)，頻次，百分比，累積頻次與百分比，四分位差

                 連續(xù)變量：中心水平，離散程度，偏度和峰度

                 以上變量順序量化水平是由低到高的，低水平變量統(tǒng)計(jì)量可以用于高水平，但高水平統(tǒng)計(jì)量不一定能用于低水平。

二、中心水平：

統(tǒng)計(jì)量：均值，中位數(shù)和眾數(shù)；

              眾數(shù)：出現(xiàn)次數(shù)最多的變量值。可能沒有或者有幾個(gè)眾數(shù)。

              中位數(shù)：排序后處于中間位置的值，一定要先排序，一般用M表示

              均值（四分位數(shù)）：定義方式類似于中位數(shù)，中位數(shù) 百分之50對(duì)應(yīng)的數(shù)值。Q1稱為下四分位數(shù)，Q3稱為上四分位數(shù)，Q2稱為中位數(shù)。                     

              均值（算數(shù)平均數(shù)）：樣本平均數(shù)：X拔=樣本之和除以樣本數(shù)量n 總體平均數(shù)：μ=總體數(shù)據(jù)之和除以總體數(shù)量N         

              均值（加權(quán)平均數(shù)）：樣本加權(quán)平均數(shù)：x拔=樣本乘以權(quán)重后的加和除以權(quán)重之和=樣本乘以權(quán)重后的加和除以樣本數(shù)量n 總體加權(quán)平均數(shù)：μ=樣本乘以權(quán)重后加和除以權(quán)重之和=樣本乘以權(quán)重后的加和除以整體數(shù)量N

              均值（幾何平均數(shù)）：適用于計(jì)算比率數(shù)據(jù)的平均，主要用于計(jì)算平均增長率。G=所有數(shù)據(jù)乘積后開n次方；

眾數(shù)和中位數(shù)不易受到極端值得影響，平均數(shù)易受到極端值得影響。

眾數(shù)和中位數(shù)適合在非對(duì)稱情況下使用，眾數(shù)不是唯一的。

三、離散程度： 

 當(dāng)知道一個(gè)變量的中心水平后，還想知道這個(gè)指標(biāo)到底有多大的代表性。 如果變量變化范圍特別小，甚至是常數(shù)，這個(gè)水平變量就非常有代表意義。

離散程度度量指標(biāo)：異眾比率：非眾數(shù)組的頻數(shù)占總頻數(shù)的比例；r=1-（眾數(shù)頻數(shù)/總體頻數(shù)）主要用于測量分類變量的離散程度。

                               極差：最大值減去最小值

                               四分位差：上分位數(shù)減去下分位數(shù)；Q3-Q1=IQR

                               方差：總體方差：σ方=（樣本值-總體平均數(shù)μ）的平方之和除以總體數(shù)量N；

                                             樣本方差：S方=（樣本值-樣本平均數(shù)X拔）的平方之和除以(樣本數(shù)量n-1)；

                               標(biāo)準(zhǔn)差：總體標(biāo)準(zhǔn)差 σ=總體方差σ方開平方；

                                                樣本標(biāo)準(zhǔn)差S=樣本方差S方開平方；

方差在統(tǒng)計(jì)學(xué)中也稱二階中心距，實(shí)際是每個(gè)取值到均值之間的距離均值。標(biāo)準(zhǔn)差是描述分析中使用最多的。

零階矩表示這些點(diǎn)的 總概率（也就是1）；

一階矩表示 期望；

二階（中心）矩表示 方差；

三階（中心）矩表示 偏斜度；

四階（中心）矩表示 峰度

偏度：用戶刻畫偏態(tài)的程度（統(tǒng)計(jì)數(shù)據(jù)峰值與平均值不相等的頻率分布）。

偏態(tài)有兩種情況： 左偏，變量在負(fù)的方向有嚴(yán)重拖尾，從小到大排序如下：mean（平均數(shù)）median（中位數(shù)）mode（眾數(shù)）

                            右偏，在正的方向有嚴(yán)重拖尾。從小到大排序如下：mode（眾數(shù)）median（中位數(shù)）mean（平均數(shù)）

峰度：變量向兩邊拖尾的情況。相比正態(tài)分布，變量是尖峰的， 超過2倍標(biāo)準(zhǔn)差數(shù)值的概論會(huì)大于5%；超過3倍標(biāo)準(zhǔn)差數(shù)值的概論會(huì)大于1%；表明出現(xiàn)較大偏離值的可能性提高了。

            正態(tài)分布 峰度系數(shù)=3，厚尾（峰度值>3）尖峰，瘦尾（峰度值<3）平頂

四、統(tǒng)計(jì)圖形繪制，圖形元素調(diào)整 可視化效果與應(yīng)用

條形圖： 很好的展現(xiàn)變量分布情況。但是連續(xù)變量不可能做出條形圖。

盒須圖： 箱線圖，提供了中位數(shù)，均值，上下分位點(diǎn)的信息。可以了解變量的中心水平，也可以了解變量的變化范圍。 內(nèi)限：最大值和最小值；最大值為 上分位點(diǎn)加上1.5倍的內(nèi)分位距（IQR）最小值 下分位點(diǎn)-1.5倍的內(nèi)分位距 超過1.5倍的內(nèi)分位距的取值稱為異常值，或離群值。 IQR=Q3-Q1;

玫瑰圖： 南丁格爾玫瑰圖。 它可以用轉(zhuǎn)角，扇形面積，以及顏色展現(xiàn)數(shù)據(jù)的不同維度。