作者：寧川  來源：云科技時代 

數(shù)據(jù)庫與中間件和操作系統(tǒng)并列為全球三大基礎軟件技術(shù)，也是企業(yè)IT系統(tǒng)必不可少的核心技術(shù)，銀行、電信、制造、互聯(lián)網(wǎng)等所有行業(yè)都依賴于數(shù)據(jù)庫技術(shù)。由于其技術(shù)的高難度，數(shù)據(jù)庫長期以來被少數(shù)公司控制了絕大部分市場份額。據(jù)不同的統(tǒng)計口徑，全球數(shù)據(jù)庫市場在300億美金到600億美金之間，商用數(shù)據(jù)庫的領導廠商主要是Oracle、微軟、IBM和SAP。

自1968年IBM推出了第一代數(shù)據(jù)庫DB1以及1970年IBM工程師Edgar Codd寫下了最早的關系型數(shù)據(jù)模型構(gòu)想的論文，隨后的30年間出現(xiàn)了著名的數(shù)據(jù)庫公司Oracle（1977年成立）、Informix（1980年成立，后被IBM收購）、Sybase（1984年成立，后被SAP收購）、Sybase與微軟合作的SQL Server（后由微軟接管）等，全球數(shù)據(jù)庫產(chǎn)業(yè)在2000年前后進行了第一次大戰(zhàn)并主要形成IBM、微軟、Oracle三巨頭格局。

2000年以后的互聯(lián)網(wǎng)和云計算技術(shù)變革，為數(shù)據(jù)庫技術(shù)帶來了“釜底抽薪”的底層計算系統(tǒng)變化，導致了以開源、分布式和云計算為主導的新數(shù)據(jù)庫時代。2012年Google發(fā)布論文首次對外介紹了自研的具有劃時代意義的Spanner全球分布式數(shù)據(jù)庫、2014年AWS推出了云原生關系型數(shù)據(jù)庫Aurora、2017年阿里云推出云原生關系型數(shù)據(jù)庫POLARDB，2018年10月Gartner全球數(shù)據(jù)庫魔力象限的領導者和挑戰(zhàn)者象限出現(xiàn)了7強格局：微軟、Oracle、SAP、AWS、Google、IBM和阿里云。

2019年3月21日的2019阿里云峰會·北京上，阿里云發(fā)布了POLARDB的2.0版本，實現(xiàn)了首次兼容Oracle數(shù)據(jù)庫，可幫助金融、醫(yī)療、制造等大型企業(yè)在數(shù)小時內(nèi)完成業(yè)務遷移。除阿里云外，其它國內(nèi)云廠商也相繼推出了自研的云數(shù)據(jù)庫和分布式數(shù)據(jù)庫產(chǎn)品。2019新年伊始，數(shù)據(jù)庫產(chǎn)業(yè)50年的第二次“世界大戰(zhàn)”已經(jīng)硝煙四起。

電商巨頭的技術(shù)溢出效應

從Gartner的2018全球數(shù)據(jù)庫魔力象限來看，AWS與阿里云是兩大電商巨頭的對外技術(shù)輸出平臺，AWS與阿里云都推出了種類豐富的數(shù)據(jù)庫產(chǎn)品。而Google雖然是全球互聯(lián)網(wǎng)技術(shù)和云技術(shù)的“大?！?，但Google內(nèi)部技術(shù)的對外商用化輸出往往晚于市場，Cloud Spanner就是直到2017年才向市場推出。

過去十年，電商巨頭的技術(shù)溢出效應十分明顯。AWS目前已經(jīng)推出的數(shù)據(jù)庫產(chǎn)品包括Amazon DynamoDB（非關系型文檔和鍵值數(shù)據(jù)庫）、Amazon ElastiCache （提供Redis和Memcached開源分布式緩存數(shù)據(jù)庫) 、Amazon Neptune（圖數(shù)據(jù)庫）、Amazon Elastic MapReduce（EMR）Hadoop發(fā)行版，以及Amazon Relational Database Service（Amazon RDS，支持Amazon Aurora、MariaDB、Microsoft SQL Server、MySQL、Oracle和PostgreSQL等的云數(shù)據(jù)庫服務）以及云原生數(shù)據(jù)庫Amazon Aurora for MySQL and PostgreSQL等。

而阿里云已經(jīng)推出的數(shù)據(jù)庫產(chǎn)品包括ApsaraDB for RDS（關系型云數(shù)據(jù)庫服務，支持MySQL即AliSQL、SQL Server、PostgreSQL、Redis等）、PolarDB（云原生數(shù)據(jù)庫，支持MySQL、PostgreSQL、Oracle）、HybridDB for MySQL and PostgreSQL（云數(shù)據(jù)倉庫）、Elastic MapReduce for Hadoop、HiTSDB（時序數(shù)據(jù)庫）、X-DB（分布式數(shù)據(jù)庫）、GraphDB（圖數(shù)據(jù)庫）等，此外阿里云Apsara Stack還支持企業(yè)本地化私有云部署。

無論是AWS還是阿里云，所提供的數(shù)據(jù)庫及數(shù)據(jù)服務種類繁多，覆蓋了絕大多數(shù)用戶場景，特別是由于電商交易系統(tǒng)的特殊性，AWS和阿里云等開發(fā)了支持數(shù)據(jù)強一致的交易型分布式數(shù)據(jù)庫，能夠滿足金融類業(yè)務的苛刻需求，而成本則遠低于商業(yè)數(shù)據(jù)庫。

為什么電商企業(yè)如此孜孜不倦的鉆研數(shù)據(jù)庫呢？以阿里云為例。阿里最早從淘寶、天貓等電商業(yè)務發(fā)展起來，當時采用的就是IBM DB2和Oracle商用數(shù)據(jù)庫，支持了早期淘寶、天貓的快速發(fā)展，這是阿里數(shù)據(jù)庫發(fā)展第一個階段。到了2011和2012的時候，雙11開始上規(guī)模，業(yè)務高速發(fā)展對傳統(tǒng)的Oracle企業(yè)級數(shù)據(jù)庫解決方案提出了挑戰(zhàn)，成本太高是首當其沖的挑戰(zhàn)，其次當電商業(yè)務邏輯變復雜以后，需要理解Oracle數(shù)據(jù)庫的技術(shù)實現(xiàn)，以便從根本上解決業(yè)務極限場景的挑戰(zhàn)，但無論是請Oracle專家到現(xiàn)場的時間還是成本都無法滿足業(yè)務要求，阿里巴巴從2012、2013年后就開始大規(guī)模使用開源數(shù)據(jù)庫，這是阿里數(shù)據(jù)庫發(fā)展的第二階段。第三個發(fā)展階段就是云時代，阿里云的業(yè)務快速發(fā)展要求自研云原生數(shù)據(jù)庫，這就是POLARDB的誕生邏輯；以及在阿里集團業(yè)務中，傳統(tǒng)用中間件進行開源數(shù)據(jù)庫分為分表的解決方案也不能滿足業(yè)務要求，這就是X-DB的的誕生邏輯。

簡單來說，電商企業(yè)的技術(shù)溢出是被業(yè)務倒逼的結(jié)果。阿里電商雙十一場景，在世界范圍內(nèi)來看都絕無僅有，這也給了中國電商企業(yè)登頂全球基礎軟件技術(shù)領導地位的機會。作為全球絕無僅有的高并發(fā)挑戰(zhàn)，阿里分布式技術(shù)經(jīng)過雙十一極限流量洪峰的實戰(zhàn)考驗，這也是為什么阿里云能夠首次代表中國廠商沖入Gartner全球數(shù)據(jù)庫魔力象限。2018年，美國猶他大學計算機系終身正教授、世界級數(shù)據(jù)庫系統(tǒng)專家李飛飛，正式加入阿里巴巴，任數(shù)據(jù)庫產(chǎn)品事業(yè)部負責人以及達摩院任數(shù)據(jù)庫首席科學家，他于2018年底入選了2018 ACM杰出科學家。李飛飛門下弟子遍布全球所有頂尖企業(yè)的數(shù)據(jù)庫部門，但李飛飛自己卻選中了阿里，其主要原因就是阿里的全球獨一無二的業(yè)務場景。

云廠商集開源技術(shù)大成

（阿里達摩院數(shù)據(jù)庫首席科學家李飛飛）

2019年是阿里云十周年、AWS進入第13個年頭。云廠商對于開源技術(shù)的集大成，正在進入全新的階段。2014年AWS發(fā)布Amazon Aurora的時候，當時稱性能與商用數(shù)據(jù)庫相當，但成本只有商用數(shù)據(jù)庫的1/10。而2017年阿里云推出POLARDB的時候，在100TB的數(shù)據(jù)容量上提供了10倍于傳統(tǒng)商業(yè)數(shù)據(jù)庫的性價比，如今性能達到AWS Aurora的2倍。

不可否認，阿里云的數(shù)據(jù)庫發(fā)展離不開Google和AWS等前輩的指引。谷歌最早提出了Spanner，可以實現(xiàn)跨數(shù)據(jù)中心的數(shù)據(jù)強一致性，這在當時是跨時代的技術(shù)，但谷歌其實是巧妙的利用了原子鐘的硬件解決方案；PostgreSQL的XC/XL開源分布式數(shù)據(jù)庫使用的是GTM（Global Transaction Manager）解決方案。阿里云的X-DB則采用了混合邏輯來解決分布式事務處理和查詢，已經(jīng)支持了幾乎阿里集團所有海量數(shù)據(jù)高并發(fā)的場景。

如今，阿里云正在把多個領先的數(shù)據(jù)庫技術(shù)融合起來，以滿足客戶的更多、更高需求。云原生數(shù)據(jù)庫POLARDB采用了存儲計算分離、軟硬件一體化設計，通過高速的RDMA網(wǎng)絡提供共享存儲的架構(gòu)，可以快速實現(xiàn)彈性縮擴容，單個實例可擴展到1000核計算能力、同時可以橫向擴展到100TB存儲空間，滿足大規(guī)模業(yè)務場景的需求，2.0版本則兼容Oracle。據(jù)了解，POLARDB與X-DB的優(yōu)勢即將融合成一體，也就是即將推出的POLARDB分布式版本。

即將推出的POLARDB分布式版本是在POLARDB共享存儲、一寫多讀的架構(gòu)上結(jié)合X-DB的核心分布式技術(shù)，這樣企業(yè)就可以利用X-DB的分庫分表強一致分布式技術(shù)掛起多個POLARDB實例，支持幾乎無限的水平規(guī)模拓展，滿足企業(yè)級上百個節(jié)點高并發(fā)業(yè)務需求。POLARDB分布式版本的推出，將用一個通用商業(yè)數(shù)據(jù)庫產(chǎn)品來滿足公共云上大中小企業(yè)的需求以及線下企業(yè)級超大規(guī)模用戶的需求。這款產(chǎn)品最大的好處之一，在于底層接入的不是單節(jié)點數(shù)據(jù)庫，而是分布式共享存儲且單機支持100T，這樣一個200T的數(shù)據(jù)庫只需要兩個POLARDB實例即可，大幅降低了跨分區(qū)處理的可能性。

POLARDB分布式版本這樣一個集大成的通用型全場景覆蓋數(shù)據(jù)庫產(chǎn)品，當前阿里云已經(jīng)儲備了足夠的技術(shù)和實踐，現(xiàn)在的主要工作是產(chǎn)品化、標準化，以便能夠快速規(guī)?；渴稹＠铒w飛認為，阿里巴巴在分布式數(shù)據(jù)庫的某些領域和某些維度上，可能超過像谷歌這樣公司在分布式領域的積累，這是因為任何技術(shù)都是業(yè)務推動衍生出來的，只要有業(yè)務場景就能推動其技術(shù)從跟隨發(fā)展到后發(fā)領先。

除了分布式和云原生數(shù)據(jù)庫技術(shù)外，李飛飛所帶領的團隊還專注于數(shù)據(jù)庫生態(tài)工具庫，也就是開發(fā)各種輔助工具幫助客戶用好數(shù)據(jù)庫。阿里云的一個數(shù)據(jù)庫生態(tài)工具就是針對混合數(shù)據(jù)庫和混合云之間的數(shù)據(jù)遷移工具ADAM，可以大幅減少不同類型數(shù)據(jù)庫和云部署之間數(shù)據(jù)遷移的各種消耗和對業(yè)務的沖擊；另一個工具是混合數(shù)據(jù)庫管理，可以管理A/B數(shù)據(jù)庫、云上和云下數(shù)據(jù)庫等混部架構(gòu)，滿足業(yè)務對混部數(shù)據(jù)庫的訪問和統(tǒng)一控制管理需求。

據(jù)了解，阿里云數(shù)據(jù)庫很快將在2019年SIGMOD大會上介紹阿里云雙十一場景下的分布式數(shù)據(jù)庫架構(gòu)。此前，谷歌Spanner、AWS Aurora等都是首先在SIDMOD會議上發(fā)布。而阿里云將登陸2019年SIGMOD會議，這也代表了中國技術(shù)廠商的成就。

展望未來幾年，全球數(shù)據(jù)庫市場將迎來50年的第二次巨變。在2018 Gartner全球數(shù)據(jù)庫魔力象限的7強格局中，AWS、阿里云和Google為開源技術(shù)廠商，微軟、Oracle和IBM也大舉支持開源技術(shù)。Gartner預計，開源數(shù)據(jù)庫將在2019年占據(jù)20%的數(shù)據(jù)庫市場份額，而到2023年75%的數(shù)據(jù)庫都將登陸云平臺。一場數(shù)據(jù)庫的世紀之戰(zhàn)，已經(jīng)在所難免。