文/技術(shù)領(lǐng)導(dǎo)力社區(qū)

編輯/Emma

阿里大數(shù)據(jù)和人工智能科學(xué)家 行在，阿里公共數(shù)據(jù)平臺負(fù)責(zé)人 羅金鵬，在云棲大會、Data Tech等大會中分享到：阿里的“雙中臺 ET”數(shù)字化轉(zhuǎn)型方法論及成果，以及阿里數(shù)據(jù)中臺產(chǎn)品OneData、OneID、OneService、Dataphin的建設(shè)實踐。

本文整理了其中15頁PPT精華濃縮，下面我們跟隨技術(shù)大咖，一起來學(xué)習(xí)阿里數(shù)據(jù)中臺的建設(shè)方法論、建設(shè)實踐、組織中臺如果支撐數(shù)據(jù)中臺、以及數(shù)據(jù)中臺建設(shè)分哪些步驟等等。

01

阿里數(shù)據(jù)中臺全景圖

（點擊圖片可放大）

阿里數(shù)據(jù)中臺在架構(gòu)的組成上，呈現(xiàn)了一個“四橫三縱”的結(jié)構(gòu)，底層的基礎(chǔ)設(shè)施來自于阿里云平臺。

四橫。在這張架構(gòu)圖中，從下往上看，最下面的內(nèi)容主要數(shù)據(jù)采集和接入，按照業(yè)態(tài)接入數(shù)據(jù)（比如淘寶、天貓、盒馬等），我們把這些數(shù)據(jù)抽取到計算平臺；通過OneData體系，以“業(yè)務(wù)板塊 分析維度”為架構(gòu)去構(gòu)建“公共數(shù)據(jù)中心”。

基于公共數(shù)據(jù)中心在上層根據(jù)業(yè)務(wù)需求進行建設(shè)：消費者數(shù)據(jù)體系、企業(yè)數(shù)據(jù)體系、內(nèi)容數(shù)據(jù)體系等。

（圖片來源：云棲社區(qū)）

經(jīng)過深度加工后，數(shù)據(jù)就可以發(fā)揮其價值被產(chǎn)品、業(yè)務(wù)所用；最后通過統(tǒng)一的數(shù)據(jù)服務(wù)中間件“OneService”提供統(tǒng)一數(shù)據(jù)服務(wù)。

（點擊圖片可放大）

三縱。為保證阿里巴巴整個數(shù)據(jù)體系的快速、高效、高質(zhì)量數(shù)據(jù)接入，需要有一套智能數(shù)據(jù)研發(fā)平臺來實現(xiàn)，將理論及實踐過程，通過一整套的工具體系及研發(fā)流程去保障落地，確保每一個團隊，每一個BU，通過統(tǒng)一規(guī)則去建設(shè)數(shù)據(jù)體系；同時，當(dāng)數(shù)據(jù)多了以后最直接問題就是成本，因此我們還建立了統(tǒng)一的數(shù)據(jù)質(zhì)量管理平臺。

02

阿里“雙中臺”共同支撐的“大中臺 小前臺架構(gòu)”

阿里云的大數(shù)據(jù)和人工智能科學(xué)家--行在，在訪談中提到，阿里中臺主要體現(xiàn)為由業(yè)務(wù)中臺和數(shù)字中臺并肩構(gòu)成的雙中臺，并肩扛起了所有前臺業(yè)務(wù)。

業(yè)務(wù)中臺將后臺資源進行抽象包裝整合，轉(zhuǎn)化為前臺友好的可重用共享的核心能力，實現(xiàn)了后端業(yè)務(wù)資源到前臺易用能力的轉(zhuǎn)化。

（點擊圖片可放大）

數(shù)據(jù)中臺從后臺及業(yè)務(wù)中臺將數(shù)據(jù)流入，完成海量數(shù)據(jù)的存儲、計算、產(chǎn)品化包裝過程，構(gòu)成企業(yè)的核心數(shù)據(jù)能力，為前臺基于數(shù)據(jù)的定制化創(chuàng)新和業(yè)務(wù)中臺基于數(shù)據(jù)反饋的持續(xù)演進提供了強大支撐。

（點擊圖片可放大）

業(yè)務(wù)中臺與數(shù)據(jù)中臺相輔相成、互相支撐，一起構(gòu)建起了戰(zhàn)場強大的后方炮火群和雷達陣。

03

阿里數(shù)據(jù)中臺OneData體系

OneData是阿里數(shù)據(jù)中臺的核心，阿里公共數(shù)據(jù)平臺負(fù)責(zé)人羅金鵬介紹，OneData體系建立的集團數(shù)據(jù)公共層，從設(shè)計、開發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，實現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理，提供標(biāo)準(zhǔn)數(shù)據(jù)輸出。

統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)是一項非常復(fù)雜的工作，譬如，針對UV這一相同的指標(biāo)，在統(tǒng)一之前阿里內(nèi)部竟然有10多種數(shù)據(jù)定義。據(jù)介紹，OneData數(shù)據(jù)公共層總共對30000多個數(shù)據(jù)指標(biāo)進行了口徑的規(guī)范和統(tǒng)一，梳理后縮減為3000余個。

在DT時代，數(shù)據(jù)暴增對存儲計算成本帶來很大的挑戰(zhàn)。據(jù)羅金鵬介紹在沒有建設(shè)統(tǒng)一的數(shù)據(jù)公共層時，阿里內(nèi)部服務(wù)器需求量會在5年之后達到現(xiàn)在的100倍之多。而經(jīng)過數(shù)據(jù)公共層的統(tǒng)一建設(shè)，5年后的服務(wù)器需求量相對會節(jié)約90%。

阿里數(shù)據(jù)中臺之OneData也并非是“一次成型”的，它經(jīng)歷了三個階段的能力演進：
第一階段：完全應(yīng)用驅(qū)動的時代。這個時期主要將數(shù)據(jù)以與源結(jié)構(gòu)相同的方式同步到Oracle，那時候的數(shù)據(jù)架構(gòu)只有兩層ODS DSS，嚴(yán)格說來基本只有一個ODS層，也基本沒有模型方法體系。

第二階段：隨著阿里業(yè)務(wù)的快速發(fā)展，數(shù)據(jù)量也在飛速增長，性能已經(jīng)是一個較大問題，希望通過一些模型技術(shù)改變煙囪式的開發(fā)模型，消除一些冗余，提升數(shù)據(jù)的一致性，所以阿里引入了Greenplum。

第三階段：引入以hadoop為代表的分布式存儲計算平臺，確立第三代模型架構(gòu)（OneData），核心CDM層都采用多維模型。選擇了以Kimball維度建模為核心理念的模型方法論，同時對其進行了一定的升級和擴展，構(gòu)建了阿里集團的數(shù)據(jù)架構(gòu)體系。

04

數(shù)據(jù)中臺PasS層Dataphin

（圖片來源：云棲社區(qū)）

在整個數(shù)據(jù)中臺模式中，PasS層產(chǎn)品Dataphin如引擎般存在，下到規(guī)劃數(shù)倉，上至輸出主題式服務(wù)。

有了Dataphin之后，種種數(shù)據(jù)問題彈指間即可迎刃而解，它既可以保證數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范定義、數(shù)據(jù)模型設(shè)計即自動化開發(fā)、主題式數(shù)據(jù)服務(wù)即時生成。

同時還能提供數(shù)據(jù)資產(chǎn)化管理的門戶，有效降低數(shù)倉建設(shè)門檻，也提高生產(chǎn)效率、降低生產(chǎn)成本，輕松實現(xiàn)讓數(shù)據(jù)從成本中心真正變成價值中心，且可量化呈現(xiàn)。

05

Quick BI助力云上企業(yè)數(shù)據(jù)分析

大數(shù)據(jù)構(gòu)建與管理完畢之后，我們需要利用Quick BI這一智能數(shù)據(jù)與可視化組件將數(shù)據(jù)背后的價值展現(xiàn)在人們面前。

Quick BI扭轉(zhuǎn)了當(dāng)初重度依賴專業(yè)數(shù)據(jù)分析人才的局面，能夠賦予一線業(yè)務(wù)人員智能化的分析工具，真正的做到了“數(shù)據(jù)化運營”讓數(shù)據(jù)產(chǎn)生價值。

現(xiàn)在，越來越多的企業(yè)開始數(shù)據(jù)上云，也有的行業(yè)如政府、金融因為嚴(yán)苛的安全需求而自建本地數(shù)據(jù)庫，導(dǎo)致企業(yè)出現(xiàn)數(shù)據(jù)分散式存儲的狀況。而Quick BI卻可以鏈接各種數(shù)據(jù)源，滿足云上和本地的不同需求，整合為可被統(tǒng)一調(diào)度的數(shù)據(jù)集。

06

阿里大數(shù)據(jù)能力框架

阿里巴巴提出的數(shù)據(jù)中臺模式，正是為解決問題而生，并通過實踐形成了統(tǒng)一全域數(shù)據(jù)體系，實現(xiàn)了計算存儲累計過億的成本降低、響應(yīng)業(yè)務(wù)效率多倍提升、為業(yè)務(wù)快速創(chuàng)新提供堅實保障。
全域數(shù)據(jù)采集與引入：以需求為驅(qū)動，以數(shù)據(jù)多樣性的全域思想為指導(dǎo)，采集與引入全業(yè)務(wù)、多終端、多形態(tài)的數(shù)據(jù)。
標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)架構(gòu)與研發(fā)：統(tǒng)一基礎(chǔ)層、公共中間層、百花齊放應(yīng)用層的數(shù)據(jù)分層架構(gòu)模式，通過數(shù)據(jù)指標(biāo)結(jié)構(gòu)化規(guī)范化的方式實現(xiàn)指標(biāo)口徑統(tǒng)一。
連接與深度萃取數(shù)據(jù)價值：形成以業(yè)務(wù)核心對象為中心的連接和標(biāo)簽體系，深度萃取數(shù)據(jù)價值。
統(tǒng)一數(shù)據(jù)資產(chǎn)管理：構(gòu)建元數(shù)據(jù)中心，通過資產(chǎn)分析、應(yīng)用、優(yōu)化、運營四方面對看清數(shù)據(jù)資產(chǎn)、降低數(shù)據(jù)管理成本、追蹤數(shù)據(jù)價值。
統(tǒng)一主題式服務(wù)：通過構(gòu)建服務(wù)元數(shù)據(jù)中心和數(shù)據(jù)服務(wù)查詢引擎，面向業(yè)務(wù)統(tǒng)一數(shù)據(jù)出口與數(shù)據(jù)查詢邏輯，屏蔽多數(shù)據(jù)源與多物理表。

極大的豐富和完善了阿里巴巴大數(shù)據(jù)中心，OneData、OneID、OneService漸趨成熟并成為上至CEO、下至一線員工共識的方法論體系。

07

阿里數(shù)據(jù)中臺演進的四個階段

阿里巴巴的數(shù)據(jù)處理經(jīng)歷了四個階段，分別是：

一.  數(shù)據(jù)庫階段，主要是OLTP（聯(lián)機事務(wù)處理）的需求；

二.  數(shù)據(jù)倉庫階段，OLAP（聯(lián)機分析處理）成為主要需求；

三.  數(shù)據(jù)平臺階段，主要解決BI和報表需求的技術(shù)問題；

四.  數(shù)據(jù)中臺階段，通過系統(tǒng)來對接OLTP（事務(wù)處理）和OLAP（報表分析）的需求，強調(diào)數(shù)據(jù)業(yè)務(wù)化的能力。

08

數(shù)據(jù)中臺的建設(shè)步驟

第一，組織架構(gòu)升級。比如以前負(fù)責(zé)數(shù)據(jù)的部門或團隊往往缺乏話語權(quán)，面對業(yè)務(wù)需求往往是被動的接受的角色，這讓一切數(shù)據(jù)中臺的想法化為泡影，需要為數(shù)據(jù)中臺團隊授權(quán)。

第二，工作方式的改變。現(xiàn)在很多企業(yè)的數(shù)據(jù)團隊的主要工作內(nèi)容就是項目管理、需求管理等等，當(dāng)一個項目完成后又投入到下一個項目，做好一個需求后又開始負(fù)責(zé)下一個需求，這樣的工作確實非常鍛煉人的組織、協(xié)調(diào)能力，但這樣能力的提升與工作時間的長短并不是呈線性增長的，雖然增加了項目和需求管理經(jīng)驗，但并不能在某一個專業(yè)領(lǐng)域得到知識和經(jīng)驗的沉淀，隨著時間的流逝，越來越多的人會失去最初的工作積極性和創(chuàng)造性，事實上，數(shù)據(jù)人員只有深入的研究業(yè)務(wù)、數(shù)據(jù)和模型，端到端的去實踐，打造出數(shù)據(jù)中臺，才是最大的價值創(chuàng)造，才能使得持續(xù)創(chuàng)新成為可能

第三，角色的轉(zhuǎn)換。數(shù)據(jù)中臺的團隊要從傳統(tǒng)的支撐角色逐步向運營轉(zhuǎn)變，不僅在數(shù)據(jù)上，在業(yè)務(wù)上也要努力趕超業(yè)務(wù)人員，中臺人員要逐步建立起對于業(yè)務(wù)的話語權(quán)，不僅僅是接受需求的角色，更要能提出合理的建議，能為業(yè)務(wù)帶來新的增長點，比如數(shù)據(jù)驅(qū)動營銷。

第四，適合企業(yè)特點。好的中臺是當(dāng)你深入了解業(yè)務(wù)、產(chǎn)品、系統(tǒng)、組織，而且不僅了解今天在哪里，還要了解過去是怎么演變而來，未來又會怎么演化。只有當(dāng)了解所有的東西之后，才能做出較好的中臺架構(gòu)設(shè)計。

09

阿里中臺建設(shè)方法論

中臺建設(shè)的基礎(chǔ)協(xié)議

就是要根據(jù)我們對商業(yè)的理解，把一些基礎(chǔ)協(xié)議梳理出來。例如什么是業(yè)務(wù)？什么是業(yè)務(wù)身份？各個業(yè)務(wù)領(lǐng)域的邊界是什么？每個領(lǐng)域提供的基礎(chǔ)服務(wù)是什么？再在這些思想的指導(dǎo)下去建立業(yè)務(wù)平臺化的實施標(biāo)準(zhǔn)和業(yè)務(wù)管控標(biāo)準(zhǔn)。

中臺的基礎(chǔ)設(shè)施：中心化控制單元

就是運營平臺，它主要由協(xié)議標(biāo)準(zhǔn)、能力地圖、業(yè)務(wù)需求結(jié)構(gòu)分解、全局業(yè)務(wù)身份、業(yè)務(wù)全景圖、業(yè)務(wù)度量等構(gòu)成。能讓我們有一個地方縱觀全局，把控細節(jié)。

10

阿里的組織中臺：數(shù)據(jù)中臺的組織保證

亞當(dāng)斯密出版了《國富論》，與此同時，瓦特改良了蒸汽機，社會大分工理論與工業(yè)革命相生相伴，在人類文明史上寫下了濃墨重彩的一筆。

金字塔式的科層制，伴隨著工業(yè)文明成為組織的核心底層邏輯，在強調(diào)秩序和大規(guī)模高效率生產(chǎn)的工業(yè)時代，甚至是強調(diào)如臂使指的軍隊組織，科層制（官僚制）是保證自上而下的命令得到有力執(zhí)行的高效組織架構(gòu)。

隨著互聯(lián)網(wǎng)時代的到來，消費者的需求被極大釋放，工業(yè)時代的大規(guī)模生產(chǎn)方式受到了挑戰(zhàn)，轉(zhuǎn)而向“大規(guī)模定制”的生產(chǎn)方式轉(zhuǎn)型，傳統(tǒng)的科層制是建立在大規(guī)模生產(chǎn)基礎(chǔ)上的，因此也面臨組織模式轉(zhuǎn)換，向扁平化、自組織的方式轉(zhuǎn)變。

而中臺建設(shè)真正困難的是組織上的重構(gòu)，這往往是大家有意無意避而不談的。

中臺戰(zhàn)略的成功、能否實現(xiàn)技術(shù)架構(gòu)與組織架構(gòu)的匹配，是一道繞不過去、但必須要邁過的門檻。從阿里成立共享事業(yè)部，海爾的人單合一、職能并聯(lián)，到近期大家關(guān)注的騰訊的組織架構(gòu)重構(gòu)都是這些企業(yè)在這方面做出的努力。

11
本文要點小結(jié)

1、阿里數(shù)據(jù)中臺全景圖。阿里數(shù)據(jù)中臺在架構(gòu)的組成上，呈現(xiàn)了一個“四橫三縱”的結(jié)構(gòu)，底層的基礎(chǔ)設(shè)施來自于阿里云平臺。
2、阿里“雙中臺”共同支撐的“大中臺 小前臺”架構(gòu)。業(yè)務(wù)中臺與數(shù)據(jù)中臺相輔相成、互相支撐，一起構(gòu)建起了戰(zhàn)場強大的后方炮火群和雷達陣。
3、阿里數(shù)據(jù)中臺OneData體系。OneData體系建立的集團數(shù)據(jù)公共層，從設(shè)計、開發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，實現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理，提供標(biāo)準(zhǔn)數(shù)據(jù)輸出。
4、數(shù)據(jù)中臺PasS層Dataphin。PasS層產(chǎn)品Dataphin如引擎般存在，下到規(guī)劃數(shù)倉，上至輸出主題式服務(wù)。
5、Quick BI助力云上企業(yè)數(shù)據(jù)分析。能夠賦予一線業(yè)務(wù)人員智能化的分析工具，真正的做到了“數(shù)據(jù)化運營”讓數(shù)據(jù)產(chǎn)生價值。
6、阿里大數(shù)據(jù)能力框架。數(shù)據(jù)中臺極大的豐富和完善了阿里巴巴大數(shù)據(jù)中心，OneData、OneID、OneService漸趨成熟并成為上至CEO、下至一線員工共識的方法論體系。
7、阿里數(shù)據(jù)中臺演進的四個階段。數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)平臺、數(shù)據(jù)中臺。
8、數(shù)據(jù)中臺的建設(shè)步驟。組織架構(gòu)升級、工作方式的改變、角色的轉(zhuǎn)換、適合企業(yè)特點。
9、阿里中臺建設(shè)方法論。中臺建設(shè)和基礎(chǔ)協(xié)議、中心化操控單元。

10、阿里的組織中臺：數(shù)據(jù)中臺的組織保證。阿里人力三支柱、公共事業(yè)部的組織架構(gòu)升級。