面對紛繁復雜的大數(shù)據(jù)生態(tài)，人們常常用亂花漸欲迷人眼的字樣來描述。因所處背景和位置差異，每個人對大數(shù)據(jù)的反應也各有不同，或疑惑、或欣喜、或鄙視、或無奈。大數(shù)據(jù)很通俗，每個人都可以聊聊。大數(shù)據(jù)也很神秘，很多觀點其實并不清楚在表達什么。

本文嘗試從生態(tài)視角聊一下大數(shù)據(jù)的現(xiàn)狀，并以反欺詐模型為例簡述一下大數(shù)據(jù)挖掘的未來發(fā)展。希望聊大數(shù)據(jù)的時候能處于同一平面，浮于表面的觀點或雞同鴨講的交流都屬于浪費時間。

金融科技“四大俗”

大數(shù)據(jù)的火爆，以及大數(shù)據(jù)給人造成的反感，一個很大原因在于其內(nèi)在偏虛。我們不能光說價值，總得拿出點看得見摸得著的東西。大數(shù)據(jù)不是獨立存在，還要關注幾個相關的領域。從邏輯上看，大數(shù)據(jù)的下面可以是云計算和區(qū)塊鏈，上面是人工智能，這就是之前在朋友圈隨口說的的金融科技“四大俗”。俗的一個原因是由媒體爆炒引發(fā)了連鎖反應，鄙視不負責任的忽悠和開的比瓢都大的腦洞。為人處事需要好好學學基本道理，“兩學一做”其實不錯。

四個熱門領域都是我關注的，實際上這四個處于不同的發(fā)展階段。目前云計算已經(jīng)比較實在了，企業(yè)可能已經(jīng)關注盈利了。大數(shù)據(jù)整體還在穩(wěn)步發(fā)展，關注的是多行業(yè)、多領域的應用。人工智能離科幻電影里面的AI還很遙遠，目前火爆的是特定領域的應用。至于區(qū)塊鏈，還是以概念、模式為主，killerapplication還沒有，理論和實踐都需要持續(xù)完善。

關于四者的結構關系，畫了兩個圖。左邊的是層次分割，從基礎到應用。右邊的是以大數(shù)據(jù)為核心，硬的環(huán)繞軟的，將大數(shù)據(jù)作為原油或血液的比喻了；其實還可以加上物聯(lián)網(wǎng)，不過在金融科技里面談的還不是太多。

當我們開始討論大數(shù)據(jù)的時候

相比云計算的踏實，人工智能和區(qū)塊鏈的高冷，只有大數(shù)據(jù)是真的“俗”。似乎所有的人都可以聊聊，有人專心聊思維，有人聊商業(yè)模式，有人做數(shù)據(jù)治理，有的人聊數(shù)據(jù)資產(chǎn)。當然，更多的人集中在技術和應用上面。總體而言，大數(shù)據(jù)應用是核心驅(qū)動力，基于新思維、新技術開采數(shù)據(jù)資源，并構建相應的商業(yè)模式；過程中數(shù)據(jù)治理貫穿始終，確保各層協(xié)同一致，保障數(shù)據(jù)價值創(chuàng)造。

至于整體生態(tài)則表現(xiàn)的過于繁雜，大數(shù)據(jù)生態(tài)圈、hadoop生態(tài)圈，甚至有人一聽到生態(tài)就頭大，因為還會加上業(yè)務生態(tài)。實際上也想不到更好的描述，生態(tài)說明了這個系統(tǒng)的復雜性。在生態(tài)里面的玩家很多，形形色色，各講各話。我建議還是少關心些模式、戰(zhàn)略，多研究些問題和技術。三年前還比較好混，比如光靠說別人聽不明白的話就可以混混；但現(xiàn)在不行了，理論和實踐綜合起來才可以繼續(xù)愉快的刷“存在感”。

窮理的過程中，大數(shù)據(jù)領域有一個容易陷入的誤區(qū)就是以偏概全，從一個點出發(fā)就對全局下一個判斷，諸如大數(shù)據(jù)是萬能的，或者大數(shù)據(jù)是無能的，這樣的結論看的多了自然就會厭倦。當然，還是那句話，形形色色，存在即合理，尊重每個人的觀點。

紛繁復雜的大數(shù)據(jù)生態(tài)

Matt Turck發(fā)布了最新的2017年大數(shù)據(jù)版圖，原圖很大就不浪費流量了。大數(shù)據(jù)生態(tài)圖譜中包括889家公司/產(chǎn)品，具體分布如下。首先要了解整體布局，然后有時間可以逐個走一遍，挑感興趣再查查資料，這樣就能了解整體生態(tài)的基本情況了。如同學科交叉的發(fā)展，今年大數(shù)據(jù)生態(tài)里面包含了更多AI的內(nèi)容；數(shù)據(jù)科學、機器學習、人工智能，是大數(shù)據(jù)發(fā)揮價值的關鍵。

ps1: 高清版下載地址——http:///wp-content/uploads/2017/04/Big-Data-Landscape-2017-Matt-Turck-FirstMark.png

ps2: 圖片上具體產(chǎn)品的說明需要到明細網(wǎng)址查看，并非所有的內(nèi)容都畫到了圖上。

基礎設施領域主要是多了一個Data Governance，領頭羊是Informatica和IBM。

難道大家建了一堆數(shù)據(jù)湖之后開始關心治理了，不得而知。另外最近的熱點是Spanner及其開源版本CockRoach，集成sql和nosql的優(yōu)勢，很神奇。還有就是銀行常用來與TD edw配套的GreenPlum，歸屬于Cloud EDW；查了查資料，大概是MPP已經(jīng)不足以反映GP的技術優(yōu)勢，還加入了云、敏捷開發(fā)等新技術。

分析這部分與2016年的版本大體一致，多了點中國元素，face++和Mobvoi。

應用部分更加細化，金融部分居然包括三個單元，不愧為大數(shù)據(jù)的頭號炒作行業(yè)。

開源部分也進一步細化了，尤其是增加了AI/DL單元。

大數(shù)據(jù)挖掘的昨天、今天和明天

數(shù)據(jù)挖掘是大數(shù)據(jù)發(fā)揮價值的關鍵，如果企業(yè)沒有成功的數(shù)據(jù)挖掘，那無論如何是不該說已經(jīng)具備大數(shù)據(jù)能力的。以反欺詐挖掘建模為例，聊聊大數(shù)據(jù)挖掘的發(fā)展，也就是過去、現(xiàn)在和未來。

傳統(tǒng)反欺詐管理中主要依賴專家經(jīng)驗，通過人工方式制定檢測規(guī)則，當申請或交易信息與反欺詐規(guī)則匹配后即執(zhí)行相應的業(yè)務策略。這種管理模式得出的反欺詐規(guī)則存在一定的局限性，不能枚舉所有業(yè)務場景，無法對各類欺詐行為進行全面覆蓋。當專家規(guī)則積累達到一定數(shù)量后誤報率通常會比較高，能夠影響到實際風險決策制定和實際業(yè)務開展。

目前的主流做法是應用機器學習技術進行欺詐風險管理，機器學習是一種研究機器獲取新知識和新技能并識別現(xiàn)有知識的方法。可以結合大數(shù)據(jù)理念從整體視角對欺詐風險進行評估，實現(xiàn)風險的精準預測并以此作為應對欺詐風險的強力手段；同時可根據(jù)模型結果進一步提煉異常規(guī)則，發(fā)現(xiàn)未知欺詐模式。

未來伴隨大數(shù)據(jù)與人工智能的持續(xù)發(fā)展，可以期待能夠識別各類欺詐模式的“真正”人工智能模型。魔高一尺，道高一丈，模型具備自主學習和進化能力，實現(xiàn)欺詐風險的提前預判（想到了少數(shù)派報告）。在這個狀態(tài)下，單純的大數(shù)據(jù)已經(jīng)沒有意義，替代的是一個個智能解決方案，大數(shù)據(jù)和人工智能會融入同一個生態(tài)圖譜。

大數(shù)據(jù)之路漫漫

相比之下，國內(nèi)大數(shù)據(jù)行業(yè)的整體規(guī)模還不算大，說的多，做的少，掏錢的更少，整體還是起步階段。換句話說，就是killer application還比較少。插一句負責任的話，現(xiàn)在看到的文章和案例水分都很大；當然，不深入進去可能不太容易識別出來。

現(xiàn)在無論大數(shù)據(jù)治理還是大數(shù)據(jù)應用，無論咨詢公司還是實施公司，干貨真的不多，以至于交流的時候會忍不住吐槽幾句。大數(shù)據(jù)進入銀行視野超過五年了，所以交流的時候需要干貨，這等同于誠意的表現(xiàn)。踏踏實實的做點事還真不太容易，因為項目里不確定因素太多，只能確保自己盡量靠譜一點。

當然，在大數(shù)據(jù)領域，無論如何都要保持足夠的謙卑，學會選擇。在踐行過程中懂了一些，就會發(fā)現(xiàn)不懂的更多。從2012年開始，每年的想法都會變，所幸螺旋式的上升也會逐步到達融會貫通的境界。

寫在最后

原稿寫于去年7月，當時的題目叫《Too Damn Big》。最近重讀一下，動手進行了補充和完善。整體上觀點變化不大，大數(shù)據(jù)實踐之路還很漫長。

我的日常工作以大數(shù)據(jù)為核心，同時關注金融科技的其他領域。這里陸陸續(xù)續(xù)寫些關于大數(shù)據(jù)的東西，不會細說模式和概念，更不會談Hadoop、Spark的技術細節(jié)，更多還是聊一些感想吧。從實際工作出發(fā)，對于大數(shù)據(jù)的認知和實踐是持續(xù)性的，寫東西與此保持同步，并且樂此不疲。

盤點一下做過的模型，三種創(chuàng)新模式都有了。信用卡評分對應老問題新方法，外包風險預測則是新問題老方法，還有渠道無監(jiān)督和智能反欺詐對應為新問題新方法。大數(shù)據(jù)挖掘的未來很有潛力，企業(yè)需要持續(xù)的投入和支持，才能發(fā)揮實踐成果的真實價值。如果做的東西很好，但就是不能做大做實，那損失的其實是企業(yè)。