日韩黑丝制服一区视频播放|日韩欧美人妻丝袜视频在线观看|九九影院一级蜜桃|亚洲中文在线导航|青草草视频在线观看|婷婷五月色伊人网站|日本一区二区在线|国产AV一二三四区毛片|正在播放久草视频|亚洲色图精品一区

分享

數(shù)據(jù)挖掘與統(tǒng)計學(xué)的關(guān)系

 網(wǎng)絡(luò)螞蟻81 2013-03-09
數(shù)據(jù)挖掘與統(tǒng)計學(xué)的關(guān)系
1、什么是數(shù)據(jù)挖掘?
     數(shù)據(jù)挖掘(Data Mining)是采用數(shù)學(xué)的、統(tǒng)計的、人工智能和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的科學(xué)方法,如記憶推理、聚類分析、關(guān)聯(lián)分析、決策樹、神經(jīng)網(wǎng)絡(luò)、基因算法等技術(shù),從大量數(shù)據(jù)中挖掘出隱含的、先前未知的、對決策有潛在價值的關(guān)系、模式和趨勢,并用這些知識和規(guī)則建立用于決策支持的模型,提供預(yù)測性決策支持的方法、工具和過程。
     數(shù)據(jù)挖掘綜合了各個學(xué)科技術(shù),有很多的功能,當前的主要功能如下:
  (1)、分類:按照分析對象的屬性、特征,建立不同的組類來描述事物。例如:銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別,現(xiàn)在就可以根據(jù)這些來區(qū)分新申請貸款的客戶,以采取相應(yīng)的貸款方案。
   (2)、聚類:識別出分析對內(nèi)在的規(guī)則,按照這些規(guī)則把對象分成若干類。例如:將申請人分為高度風(fēng)險申請者,中度風(fēng)險申請者,低度風(fēng)險申請者。
  (3)、關(guān)聯(lián)規(guī)則:關(guān)聯(lián)是某種事物發(fā)生時其他事物會發(fā)生的這樣一種聯(lián)系。例如:每天購買啤酒的人也有可能購買香煙,比重有多大,可以通過關(guān)聯(lián)的支持度和可信度來描述。
    (4)、預(yù)測:把握分析對象發(fā)展的規(guī)律,對未來的趨勢做出預(yù)見。例如:對未來經(jīng)濟發(fā)展的判斷。
   (5)、偏差的檢測:對分析對象的少數(shù)的、極端的特例的描述,揭示內(nèi)在的原因。例如:在銀行的100萬筆交易中有500例的欺詐行為,銀行為了穩(wěn)健經(jīng)營,就要發(fā)現(xiàn)這500例的內(nèi)在因素,減小以后經(jīng)營的風(fēng)險。
    當然除了以上所列出的還有時間序列分析等一些其他的功能,需要注意的是:數(shù)據(jù)挖掘的各項功能不是獨立存在的,在數(shù)據(jù)挖掘中互相聯(lián)系,發(fā)揮作用。

2、數(shù)據(jù)挖掘與統(tǒng)計學(xué)的聯(lián)系
    數(shù)據(jù)挖掘技術(shù)是計算機技術(shù)、人工智能技術(shù)和統(tǒng)計技術(shù)等構(gòu)成的一種新學(xué)科。數(shù)據(jù)挖掘來源于統(tǒng)計分析,而又不同于統(tǒng)計分析。數(shù)據(jù)挖掘不是為了替代傳統(tǒng)的統(tǒng)計分析技術(shù),相反,數(shù)據(jù)挖掘是統(tǒng)計分析方法的擴展和延伸。大多數(shù)的統(tǒng)計分析技術(shù)都基于完善的數(shù)學(xué)理論和高超的技巧,其預(yù)測的準確程度還是令人滿意的,但對于使用者的知識要求比較高。而隨著計算機能力的不斷發(fā)展,數(shù)據(jù)挖掘可以利用相對簡單和固定程序完成同樣的功能。新的計算算法的產(chǎn)生如神經(jīng)網(wǎng)絡(luò)、決策樹使人們不需了解到其內(nèi)部復(fù)雜的原理也可以通過這些方法獲得良好的分析和預(yù)測效果。
     由于數(shù)據(jù)挖掘和統(tǒng)計分析根深蒂固的聯(lián)系,通常的據(jù)挖掘工具都能夠通過可選件或自身提供統(tǒng)計分析功能。這些功能對于數(shù)據(jù)挖掘的前期數(shù)據(jù)探索和數(shù)據(jù)挖掘之后對數(shù)據(jù)進行總結(jié)和分析都是十分必要的。統(tǒng)計分析所提供的諸如方差分析、假設(shè)檢驗、相關(guān)性分析、線性預(yù)測、時間序列分析等功能都有助于數(shù)據(jù)挖掘前期對數(shù)據(jù)進行探索,發(fā)現(xiàn)數(shù)據(jù)挖掘的題目、找出數(shù)據(jù)挖掘的目標、確定數(shù)據(jù)挖掘所需涉及的變量、對數(shù)據(jù)源進行抽樣等等。所有這些前期工作對數(shù)據(jù)挖掘的效果產(chǎn)生重大影響。而數(shù)據(jù)挖掘的結(jié)果也需要統(tǒng)計分析的描述功能(最大值、最小值、平均值、方差、四分位、個數(shù)、概率分配)進行具體描述,使數(shù)據(jù)挖掘的結(jié)果能夠被用戶了解。因此,統(tǒng)計分析和數(shù)據(jù)挖掘是相輔相成的過程,兩者的合理配合是數(shù)據(jù)挖掘成功的重要條件。
    3、數(shù)據(jù)挖掘與統(tǒng)計學(xué)的區(qū)別
       統(tǒng)計學(xué)目前有一種趨勢是越來越精確。當然,這本身并不是壞事,只有越精確才能避免錯誤,發(fā)現(xiàn)真理。統(tǒng)計學(xué)在采用一個方法之前先要證明,而不是象計算機科學(xué)和機器學(xué)習(xí)那樣注重經(jīng)驗。有時候同一問題的其它領(lǐng)域的研究者提出一個很明顯有用的方法,但它卻不能被統(tǒng)計學(xué)家證明(或者現(xiàn)在還沒有證明)。統(tǒng)計雜志傾向于發(fā)表經(jīng)過數(shù)學(xué)證明的方法而不是一些特殊方法。數(shù)據(jù)挖掘作為幾門學(xué)科的綜合,已經(jīng)從機器學(xué)習(xí)那里繼承了實驗的態(tài)度。這并不意味著數(shù)據(jù)挖掘工作者不注重精確,而只是說明如果方法不能產(chǎn)生結(jié)果的話就會被放棄。
       正是由于統(tǒng)計學(xué)的數(shù)學(xué)精確性,而且其對推理的側(cè)重,盡管統(tǒng)計學(xué)的一些分支也側(cè)重于描述,但是瀏覽一下統(tǒng)計論文的話就會發(fā)現(xiàn)這些論文的核心問題就是在觀察了樣本的情況下如何去推斷總體。當然這也常常是數(shù)據(jù)挖掘所關(guān)注的。下面我們會提到數(shù)據(jù)挖掘的一個特定屬性就是要處理的是一個大數(shù)據(jù)集。這就意味著,傳統(tǒng)統(tǒng)計學(xué)由于可行性的原因,我們常常得到的只是一個樣本,但是需要描述樣本取自的那個大數(shù)據(jù)集。然而,數(shù)據(jù)挖掘問題常??梢缘玫綌?shù)據(jù)總體,例如關(guān)于一個公司的所有職工數(shù)據(jù),數(shù)據(jù)庫中的所有客戶資料,去年的所有業(yè)務(wù)。在這種情形下,統(tǒng)計學(xué)的推斷就沒有價值了。
       很多情況下,數(shù)據(jù)挖掘的本質(zhì)是很偶然的發(fā)現(xiàn)非預(yù)期但很有價值的信息。這說明數(shù)據(jù)挖掘過程本質(zhì)上是實驗性的。這和確定性的分析是不同的。(實際上,一個人是不能完全確定一個理論的,只能提供證據(jù)和不確定的證據(jù)。)確定性分析著眼于最適合的模型-建立一個推薦模型,這個模型也許不能很好的解釋觀測到的數(shù)據(jù)。大部分統(tǒng)計分析提出的是確定性的分析。
      如果數(shù)據(jù)挖掘的主要目的是發(fā)現(xiàn),那它就不關(guān)心統(tǒng)計學(xué)領(lǐng)域中的在回答一個特定的問題之前,如何很好的搜集數(shù)據(jù),例如實驗設(shè)計和調(diào)查設(shè)計。數(shù)據(jù)挖掘本質(zhì)上假想數(shù)據(jù)已經(jīng)被搜集好,關(guān)注的只是如何發(fā)現(xiàn)其中的秘密。
      (另外,統(tǒng)計學(xué)的核心是模型,數(shù)據(jù)挖掘的更重要的是準則。這部分沒看懂,期待有人補充。)

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多