日韩黑丝制服一区视频播放|日韩欧美人妻丝袜视频在线观看|九九影院一级蜜桃|亚洲中文在线导航|青草草视频在线观看|婷婷五月色伊人网站|日本一区二区在线|国产AV一二三四区毛片|正在播放久草视频|亚洲色图精品一区

分享

什么是大數(shù)據(jù)及預(yù)測建模

 seo菜鳥shcimfv 2016-04-11

數(shù)據(jù)科學(xué),又稱大數(shù)據(jù),如今被越來越多提及。數(shù)據(jù)科學(xué)是基于數(shù)據(jù),通過對其擴展、統(tǒng)計,對組織關(guān)系、物質(zhì)性能的系統(tǒng)研究,輔以推理甚至包括信心推斷等方式的綜合研究過程。大數(shù)據(jù)不同于傳統(tǒng)意義上的統(tǒng)計學(xué)。首先“數(shù)據(jù)”的概念已經(jīng)擴展,不僅僅是單純的數(shù)字,還可能是文本、圖像、視頻。此外從工程學(xué)角度看,大數(shù)據(jù)拋棄了傳統(tǒng)意義上數(shù)據(jù)的概念。數(shù)據(jù)庫僅僅是對海量數(shù)據(jù)的匯總及優(yōu)化,利于快速查詢,但數(shù)據(jù)庫并不利于對新知識的發(fā)現(xiàn),特別是當(dāng)用戶缺乏甚至不具備良好的查詢方式的時候。我們希望能夠揭秘即有新鮮感、吸引人的又穩(wěn)定的查詢模式來揭秘數(shù)據(jù)。什么樣的分心方式吸引人?那就是最具有前瞻行的。對已有的數(shù)據(jù)能夠做出準(zhǔn)確的分析就會對后續(xù)的操作積累信心,這也就是大數(shù)據(jù)分析中最要的一項考察因素。

從數(shù)據(jù)科學(xué)的研究角度看,核心的內(nèi)容首先是要了解解決技巧。麥肯錫工業(yè)報告中顯示全球的數(shù)量以每年50%的幅度增長,2011年比2001年增長了近40倍。數(shù)據(jù)量的劇增推動了數(shù)據(jù)分析的發(fā)展。20世紀80年代人們開始利用大量的數(shù)據(jù)做決策,90年代數(shù)據(jù)庫技術(shù)和數(shù)據(jù)庫分析業(yè)務(wù)流程日漸成熟。但當(dāng)時遇到的問題就是,人們對數(shù)據(jù)的結(jié)構(gòu)分析相對簡單,對其線性、單調(diào)性及分布參數(shù)等趨勢的假設(shè)不夠有效,導(dǎo)致信噪比過小而不能做到準(zhǔn)確的分析。同時,利用計算機輔助的數(shù)據(jù)庫分析的核心是:人們?nèi)绻滥承﹩栴}的答案,那么計算機才會根據(jù)數(shù)據(jù)庫給出分析。但問題是,人們也許并不清楚自己想問什么,也不知道對數(shù)據(jù)進行什么樣的的特定查詢才能揭示數(shù)據(jù)背后有價值的規(guī)律。

當(dāng)人們意識到數(shù)據(jù)預(yù)測及準(zhǔn)確性是數(shù)據(jù)分析的核心時,數(shù)據(jù)建模和決策制定便被提上了日程。這也是大數(shù)據(jù)存在的意義?;诩夹g(shù)機理論的大數(shù)據(jù)分析需具備三項基本技能。首先是數(shù)據(jù)統(tǒng)計,特別是貝葉斯統(tǒng)計和概率分布理論。第二項技能是計算機理論,包括數(shù)據(jù)的基數(shù)按表達,涉及計算機結(jié)構(gòu)及其算法,比如分布式計算、數(shù)據(jù)庫、并行算法、容錯計算等理論,還有諸如PythonPerl等基本腳本語言掌握。利用計算機技術(shù)進行的云計算以及非關(guān)聯(lián)性數(shù)據(jù)結(jié)構(gòu)處理是大數(shù)據(jù)分析的前沿技能。大三項技能是對知識的相關(guān)性及因果關(guān)系的掌握。這一項最難以規(guī)范,某種程度上據(jù)定了數(shù)據(jù)分析的走向,因為它是要制定面向數(shù)據(jù)提出的問題方式,是解決問題的前提,能否得到有意的推斷結(jié)論以及能否得到穩(wěn)定的數(shù)據(jù)預(yù)期,全靠這項技能,這也是未來衡量大數(shù)據(jù)科學(xué)家預(yù)測能力的核心技能。數(shù)據(jù)建模的潛在誤差來源基本可以歸類于三個方面:模型的歸類錯誤,簡單的說比如非線性的模型使用了現(xiàn)行的分析;參數(shù)樣本,比如小樣本會導(dǎo)致參數(shù)估計的誤差;模型的隨機性。大數(shù)據(jù)的應(yīng)用能夠使得前兩種誤差系數(shù)大大降低。

大數(shù)據(jù)在市場營銷、醫(yī)療保健以及研究人類行為的數(shù)據(jù)分析中已經(jīng)開始的到廣泛的引用。一項意義深遠的大數(shù)據(jù)應(yīng)用的例子便是2012年民主黨對奧巴馬總統(tǒng)連任的預(yù)測,他們針對選民的態(tài)度的分析預(yù)測制定了數(shù)據(jù)預(yù)測模型,對選民的意愿進行詳細的分類,甚至喝了的預(yù)測了包括如何將總統(tǒng)包裝成選民希望的樣子的種種可能性。大數(shù)據(jù)的出現(xiàn)為知識發(fā)現(xiàn)和數(shù)據(jù)理論發(fā)展提供了前所未有的機遇,而行業(yè)的組織管理者則面臨著適應(yīng)新的數(shù)據(jù)時代的挑戰(zhàn),需要對傳統(tǒng)組織文化進行實時轉(zhuǎn)變。

    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多