 數(shù)據(jù)的征服：讀《大數(shù)據(jù)時代》谷歌有一個名為"谷歌流感趨勢"的工具，它通過跟蹤搜索詞相關(guān)數(shù)據(jù)來判斷全美地區(qū)的流感情況（比如患者會搜索流感兩個字）。近日，這個工具發(fā)出警告，全美的流感已經(jīng)進(jìn)入"緊張"級別。它對于健康服務(wù)產(chǎn)業(yè)和流行病專家來說是非常有用的，因?yàn)樗臅r效性極強(qiáng)，能夠很好地幫助到疾病暴發(fā)的跟蹤和處理。事實(shí)也證明，通過海量搜索詞的跟蹤獲得的趨勢報(bào)告是很有說服力的，僅波士頓地區(qū)，就有700例流感得到確認(rèn)，該地區(qū)目前已宣布進(jìn)入公共健康緊急狀態(tài)…點(diǎn)擊查看>> 大數(shù)據(jù)時代BI王者之劍——SAS企業(yè)挖掘系統(tǒng) 大數(shù)據(jù)的爆炸式增長在大容量、多樣性和高增速方面，全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力；同時，也為企業(yè)帶來了獲取更豐富、更深入和更準(zhǔn)確地洞察市場行為的大量機(jī)會。對企業(yè)而言，能夠從大數(shù)據(jù)中獲得全新價值的消息是令人振奮的。然而，如何從大數(shù)據(jù)中發(fā)掘出"真金白銀"則是一個現(xiàn)實(shí)的挑戰(zhàn)。這就要求采用一套全新的、對企業(yè)決策具有深遠(yuǎn)影響的解決方案…點(diǎn)擊查看>> 大數(shù)據(jù)概念"大數(shù)據(jù)"是一個體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進(jìn)行抓取、管理和處理。 "大數(shù)據(jù)"首先是指數(shù)據(jù)體量(volumes)?大，指代大型數(shù)據(jù)集，一般在10TB?規(guī)模左右，但在實(shí)際應(yīng)用中，很多企業(yè)用戶把多個數(shù)據(jù)集放在一起，已經(jīng)形成了PB級的數(shù)據(jù)量；其次是指數(shù)據(jù)類別(variety)大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。接著是數(shù)據(jù)處理速度（Velocity）快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時處理。最后一個特點(diǎn)是指數(shù)據(jù)真實(shí)性（Veracity）高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興趣，傳統(tǒng)數(shù)據(jù)源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實(shí)性及安全性。 百度知道—大數(shù)據(jù)概念大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)的4V特點(diǎn)：Volume、Velocity、Variety、Veracity。 互聯(lián)網(wǎng)周刊—大數(shù)據(jù)概念"大數(shù)據(jù)"的概念遠(yuǎn)不止大量的數(shù)據(jù)（TB）和處理大量數(shù)據(jù)的技術(shù)，或者所謂的"4個V"之類的簡單概念，而是涵蓋了人們在大規(guī)模數(shù)據(jù)的基礎(chǔ)上可以做的事情，而這些事情在小規(guī)模數(shù)據(jù)的基礎(chǔ)上是無法實(shí)現(xiàn)的。換句話說，大數(shù)據(jù)讓我們以一種前所未有的方式，通過對海量數(shù)據(jù)進(jìn)行分析，獲得有巨大價值的產(chǎn)品和服務(wù)，或深刻的洞見，最終形成變革之力 研究機(jī)構(gòu)Gartner—大數(shù)據(jù)概念 "大數(shù)據(jù)"是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。從數(shù)據(jù)的類別上看，"大數(shù)據(jù)"指的是無法使用傳統(tǒng)流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集。  從所周知，大數(shù)據(jù)已經(jīng)不簡簡單單是數(shù)據(jù)大的事實(shí)了，而最重要的現(xiàn)實(shí)是對大數(shù)據(jù)進(jìn)行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那么越來越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基于如此的認(rèn)識，大數(shù)據(jù)分析普遍存在的方法理論有哪些呢？ 大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時還有普通用戶，但是他們二者對于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬治瞿軌蛑庇^的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。 大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家所公認(rèn)的各種統(tǒng)計(jì)方法（可以稱之為真理）才能深入數(shù)據(jù)內(nèi)部，挖掘出公認(rèn)的價值。另外一個方面也是因?yàn)橛羞@些數(shù)據(jù)挖掘的算法才能更快速的處理大數(shù)據(jù)，如果一個算法得花上好幾年才能得出結(jié)論，那大數(shù)據(jù)的價值也就無從說起了。 大數(shù)據(jù)分析最終要的應(yīng)用領(lǐng)域之一就是預(yù)測性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過科學(xué)的建立模型，之后便可以通過模型帶入新的數(shù)據(jù)，從而預(yù)測未來的數(shù)據(jù)。 大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可從用戶的搜索關(guān)鍵詞、標(biāo)簽關(guān)鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實(shí)現(xiàn)更好的用戶體驗(yàn)和廣告匹配。 大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠保證分析結(jié)果的真實(shí)和有價值。 大數(shù)據(jù)技術(shù) 數(shù)據(jù)采集：ETL工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。 大數(shù)據(jù)特點(diǎn) 要理解大數(shù)據(jù)這一概念，首先要從"大"入手，"大"是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個V來總結(jié)(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。 當(dāng)下我國大數(shù)據(jù)研發(fā)建設(shè)應(yīng)在以下四個方面著力 一是建立一套運(yùn)行機(jī)制。大數(shù)據(jù)建設(shè)是一項(xiàng)有序的、動態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程，必須建立良好的運(yùn)行機(jī)制，以促進(jìn)建設(shè)過程中各個環(huán)節(jié)的正規(guī)有序，實(shí)現(xiàn)統(tǒng)合，搞好頂層設(shè)計(jì)。  大數(shù)據(jù)時代到來，認(rèn)同這一判斷的人越來越多。那么大數(shù)據(jù)意味著什么，他到底會改變什么？僅僅從技術(shù)角度回答，已不足以解惑。大數(shù)據(jù)只是賓語，離開了人這個主語，它再大也沒有意義。我們需要把大數(shù)據(jù)放在人的背景中加以透視，理解它作為時代變革力量的所以然。 變革價值的力量未來十年，決定中國是不是有大智慧的核心意義標(biāo)準(zhǔn)（那個"思想者"），就是國民幸福。一體現(xiàn)在民生上，通過大數(shù)據(jù)讓有意義的事變得澄明，看我們在人與人關(guān)系上，做得是否比以前更有意義；二體現(xiàn)在生態(tài)上，通過大數(shù)據(jù)讓有意義的事變得澄明，看我們在天與人關(guān)系上，做得是否比以前更有意義。總之，讓我們從前10年的意義混沌時代，進(jìn)入未來10年意義澄明時代。 變革經(jīng)濟(jì)的力量生產(chǎn)者是有價值的，消費(fèi)者是價值的意義所在。有意義的才有價值，消費(fèi)者不認(rèn)同的，就賣不出去，就實(shí)現(xiàn)不了價值；只有消費(fèi)者認(rèn)同的，才賣得出去，才實(shí)現(xiàn)得了價值。大數(shù)據(jù)幫助我們從消費(fèi)者這個源頭識別意義，從而幫助生產(chǎn)者實(shí)現(xiàn)價值。這就是啟動內(nèi)需的原理。 變革組織的力量 隨著具有語義網(wǎng)特征的數(shù)據(jù)基礎(chǔ)設(shè)施和數(shù)據(jù)資源發(fā)展起來，組織的變革就越來越顯得不可避免。大數(shù)據(jù)將推動網(wǎng)絡(luò)結(jié)構(gòu)產(chǎn)生無組織的組織力量。最先反映這種結(jié)構(gòu)特點(diǎn)的，是各種各樣去中心化的WEB2.0應(yīng)用，如RSS、維基、博客等。 大數(shù)據(jù)處理 周濤：大數(shù)據(jù)處理數(shù)據(jù)時代理念的三大轉(zhuǎn)變：要全體不要抽樣，要效率不要絕對精確，要相關(guān)不要因果。 大數(shù)據(jù)處理之一：采集 大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進(jìn)行簡單的查詢和處理工作。比如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。 大數(shù)據(jù)處理之二：導(dǎo)入/預(yù)處理 雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。也有一些用戶會在導(dǎo)入時使用來自Twitter的Storm來對數(shù)據(jù)進(jìn)行流式計(jì)算，來滿足部分業(yè)務(wù)的實(shí)時計(jì)算需求。 大數(shù)據(jù)處理之三：統(tǒng)計(jì)/分析 統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫，或者分布式計(jì)算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實(shí)時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。 大數(shù)據(jù)處理之四：挖掘 與前面統(tǒng)計(jì)和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測（Predict）的效果，從而實(shí)現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。 大數(shù)據(jù)應(yīng)用與案例分析大數(shù)據(jù)應(yīng)用的關(guān)鍵，也是其必要條件，就在于"IT"與"經(jīng)營"的融合，當(dāng)然，這里的經(jīng)營的內(nèi)涵可以非常廣泛，小至一個零售門店的經(jīng)營，大至一個城市的經(jīng)營。以下是我整理的關(guān)于各行各業(yè)，不同的組織機(jī)構(gòu)在大數(shù)據(jù)方面的應(yīng)用的案例，在此申明，以下案例均來源于網(wǎng)絡(luò)，本文僅作引用，并在此基礎(chǔ)上作簡單的梳理和分類。 大數(shù)據(jù)應(yīng)用案例之：醫(yī)療行業(yè) [1] Seton Healthcare是采用IBM最新沃森技術(shù)醫(yī)療保健內(nèi)容分析預(yù)測的首個客戶。該技術(shù)允許企業(yè)找到大量病人相關(guān)的臨床醫(yī)療信息，通過大數(shù)據(jù)處理，更好地分析病人的信息。 大數(shù)據(jù)應(yīng)用案例之：能源行業(yè) [1] 智能電網(wǎng)現(xiàn)在歐洲已經(jīng)做到了終端，也就是所謂的智能電表。在德國，為了鼓勵利用太陽能，會在家庭安裝太陽能，除了賣電給你，當(dāng)你的太陽能有多余電的時候還可以買回來。通過電網(wǎng)收集每隔五分鐘或十分鐘收集一次數(shù)據(jù)，收集來的這些數(shù)據(jù)可以用來預(yù)測客戶的用電習(xí)慣等，從而推斷出在未來2~3個月時間里，整個電網(wǎng)大概需要多少電。有了這個預(yù)測后，就可以向發(fā)電或者供電企業(yè)購買一定數(shù)量的電。因?yàn)殡娪悬c(diǎn)像期貨一樣，如果提前買就會比較便宜，買現(xiàn)貨就比較貴。通過這個預(yù)測后，可以降低采購成本。 大數(shù)據(jù)應(yīng)用案例之：通信行業(yè) [1] XO Communications通過使用IBM SPSS預(yù)測分析軟件，減少了將近一半的客戶流失率。XO現(xiàn)在可以預(yù)測客戶的行為，發(fā)現(xiàn)行為趨勢，并找出存在缺陷的環(huán)節(jié)，從而幫助公司及時采取措施，保留客戶。此外，IBM新的Netezza網(wǎng)絡(luò)分析加速器，將通過提供單個端到端網(wǎng)絡(luò)、服務(wù)、客戶分析視圖的可擴(kuò)展平臺，幫助通信企業(yè)制定更科學(xué)、合理決策。 大數(shù)據(jù)應(yīng)用案例之：零售業(yè) [1] "我們的某個客戶，是一家領(lǐng)先的專業(yè)時裝零售商，通過當(dāng)?shù)氐陌儇浬痰?、網(wǎng)絡(luò)及其郵購目錄業(yè)務(wù)為客戶提供服務(wù)。公司希望向客戶提供差異化服務(wù)，如何定位公司的差異化，他們通過從 Twitter 和 Facebook 上收集社交信息，更深入的理解化妝品的營銷模式，隨后他們認(rèn)識到必須保留兩類有價值的客戶：高消費(fèi)者和高影響者。希望通過接受免費(fèi)化妝服務(wù)，讓用戶進(jìn)行口碑宣傳，這是交易數(shù)據(jù)與交互數(shù)據(jù)的完美結(jié)合，為業(yè)務(wù)挑戰(zhàn)提供了解決方案。"Informatica的技術(shù)幫助這家零售商用社交平臺上的數(shù)據(jù)充實(shí)了客戶主數(shù)據(jù)，使他的業(yè)務(wù)服務(wù)更具有目標(biāo)性。
京ICP備11001960號 京ICP證090565號 京公網(wǎng)安備1101084107號 |
|
|
