大數(shù)據(jù)開啟了一個大規(guī)模生產(chǎn)、分享和應(yīng)用數(shù)據(jù)的時代，它給技術(shù)和商業(yè)帶來了巨大的變化。麥肯錫研究表明，在醫(yī)療、零售和制造業(yè)領(lǐng)域，大數(shù)據(jù)每年可以提高勞動生產(chǎn)率0.5-1個百分點。大數(shù)據(jù)在核心領(lǐng)域的滲透速度有目共睹，然而調(diào)查顯示，未被使用的信息比例高達99.4%，很大程度都是由于高價值的信息無法獲取采集。因此在大數(shù)據(jù)時代背景下，如何從大數(shù)據(jù)中采集出有用的信息已經(jīng)是大數(shù)據(jù)發(fā)展的關(guān)鍵因素之一，那么什么是大數(shù)據(jù)采集技術(shù)呢?本期就為大家介紹大數(shù)據(jù)采集技術(shù)，讓大家輕松了解大數(shù)據(jù)采集。

▌什么是數(shù)據(jù)采集?

數(shù)據(jù)采集(DAQ)， 又稱數(shù)據(jù)獲取，是指從傳感器和其它待測設(shè)備等模擬和數(shù)字被測單元中自動采集信息的過程。數(shù)據(jù)分類新一代數(shù)據(jù)體系中，將傳統(tǒng)數(shù)據(jù)體系中沒有考慮過的新數(shù)據(jù)源進行歸納與分類，可將其分為線上行為數(shù)據(jù)與內(nèi)容數(shù)據(jù)兩大類。

線上行為數(shù)據(jù)：頁面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會話數(shù)據(jù)等。

內(nèi)容數(shù)據(jù)：應(yīng)用日志、電子文檔、機器數(shù)據(jù)、語音數(shù)據(jù)、社交媒體數(shù)據(jù)等。

大數(shù)據(jù)的主要來源：1)商業(yè)數(shù)據(jù) 2)互聯(lián)網(wǎng)數(shù)據(jù) 3)傳感器數(shù)據(jù)

▌數(shù)據(jù)采集與大數(shù)據(jù)采集區(qū)別

▌傳統(tǒng)數(shù)據(jù)采集的不足

傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲、管理和分析數(shù)據(jù)量也相對較小，大多采用關(guān)系型數(shù)據(jù)庫和并行數(shù)據(jù)倉庫即可處理。對依靠并行計算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫技術(shù)追求高度一致性和容錯性，根據(jù)CAP理論，難以保證其可用性和擴展性。

▌大數(shù)據(jù)采集新的方法

系統(tǒng)日志采集方法

很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，如Hadoop的Chukwa，Cloudera的Flume，F(xiàn)acebook的Scribe等，這些工具均采用分布式架構(gòu)，能滿足每秒數(shù)百MB的日志數(shù)據(jù)采集和傳輸需求。

網(wǎng)絡(luò)數(shù)據(jù)采集方法

網(wǎng)絡(luò)數(shù)據(jù)采集是指通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存儲為統(tǒng)一的本地數(shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關(guān)聯(lián)。 除了網(wǎng)絡(luò)中包含的內(nèi)容之外，對于網(wǎng)絡(luò)流量的采集可以使用DPI或DFI等帶寬管理技術(shù)進行處理。

其他數(shù)據(jù)采集方法

對于企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過與企業(yè)或研究機構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)。

▌大數(shù)據(jù)采集平臺

最后，再為大家介紹幾款應(yīng)用廣泛的大數(shù)據(jù)采集平臺，供大家參考使用。

1)Apache Flume

Flume 是Apache旗下的一款開源、高可靠、高擴展、容易管理、支持客戶擴展的數(shù)據(jù)采集系統(tǒng)。 Flume使用JRuby來構(gòu)建，所以依賴Java運行環(huán)境。

2)Fluentd

Fluentd是另一個開源的數(shù)據(jù)收集框架。Fluentd使用C/Ruby開發(fā)，使用JSON文件來統(tǒng)一日志數(shù)據(jù)。它的可插拔架構(gòu)，支持各種不同種類和格式的數(shù)據(jù)源和數(shù)據(jù)輸出。最后它也同時提供了高可靠和很好的擴展性。Treasure Data, Inc 對該產(chǎn)品提供支持和維護。

3)Logstash

Logstash是著名的開源數(shù)據(jù)棧ELK (ElasticSearch, Logstash, Kibana)中的那個L。Logstash用JRuby開發(fā)，所有運行時依賴JVM。

4)Splunk Forwarder

Splunk是一個分布式的機器數(shù)據(jù)平臺，主要有三個角色：Search Head負責(zé)數(shù)據(jù)的搜索和處理，提供搜索時的信息抽取;Indexer負責(zé)數(shù)據(jù)的存儲和索引;Forwarder，負責(zé)數(shù)據(jù)的收集，清洗，變形，并發(fā)送給Indexer

很多初學(xué)者，對大數(shù)據(jù)的概念都是模糊不清的，大數(shù)據(jù)是什么，能做什么，學(xué)的時候，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展，想深入了解，想學(xué)習(xí)的同學(xué)歡迎加入大數(shù)據(jù)學(xué)習(xí)扣群：805127855，有大量干貨（零基礎(chǔ)以及進階的經(jīng)典實戰(zhàn)）分享給大家，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費授課，給大家分享目前國內(nèi)最完整的大數(shù)據(jù)高端實戰(zhàn)實用學(xué)習(xí)流程體系