一、數(shù)據(jù)倉(cāng)庫(kù)的快速演變

    數(shù)據(jù)倉(cāng)庫(kù)不會(huì)消失。數(shù)據(jù)倉(cāng)庫(kù)將繼續(xù)是一項(xiàng)重要的傳統(tǒng)技術(shù)，組織將在未來(lái)很長(zhǎng)一段時(shí)間內(nèi)將其用于關(guān)鍵業(yè)務(wù)應(yīng)用。隨著向云的過(guò)渡，數(shù)據(jù)倉(cāng)庫(kù)有了新的變化，并提供了一些現(xiàn)代的、有吸引力的功能，包括自助服務(wù)和無(wú)服務(wù)器。隨著云技術(shù)的崛起，數(shù)據(jù)湖成為了新事物。數(shù)據(jù)湖正在成為一種商品，它本身就是一種傳統(tǒng)技術(shù)。它們?cè)趧?chuàng)新階段的迅速崛起意味著兩件事。

    首先，組織將需要更簡(jiǎn)單、更容易管理、更經(jīng)濟(jì)有效的方法，使用盡可能多的數(shù)據(jù)源從他們的數(shù)據(jù)湖中提取有用的決策數(shù)據(jù)。其次，這些組織共同的希望是通過(guò)不把它們鎖定在專有數(shù)據(jù)管理平臺(tái)上的工具來(lái)實(shí)現(xiàn)上述功能。簡(jiǎn)而言之，2021年將開始看到工具的快速引入和發(fā)展，這些工具允許用戶將他們的數(shù)據(jù)湖保存在一個(gè)地方，并在他們的控制下，同時(shí)提高性能和降低成本。

    二、首席數(shù)據(jù)官的關(guān)鍵年

    在過(guò)去的幾年里，首席數(shù)據(jù)官以及他們所領(lǐng)導(dǎo)和影響的團(tuán)隊(duì)都從技術(shù)和戰(zhàn)術(shù)的角度來(lái)看待他們的位置——主要作為企業(yè)的成本中心來(lái)運(yùn)營(yíng)，為未來(lái)打下基礎(chǔ)。然而，隨著數(shù)據(jù)與企業(yè)的發(fā)展越來(lái)越緊密地交織在一起，CDO必須將精力重新集中在戰(zhàn)略和企業(yè)如何與數(shù)據(jù)互動(dòng)以及如何從數(shù)據(jù)中獲益的轉(zhuǎn)變上，而不是在這個(gè)過(guò)程中所使用的技術(shù)。我預(yù)測(cè)，2021年將是首席數(shù)據(jù)官的決定性一年，我們將看到這個(gè)角色的形成，并真正確定他們是走成本中心還是利潤(rùn)中心的路線。

    三、元數(shù)據(jù)就是大數(shù)據(jù)

    隨著2020年數(shù)字化轉(zhuǎn)型計(jì)劃的顯著加速，大量結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)分散在整個(gè)企業(yè)。Gartner預(yù)測(cè)，到2022年，在數(shù)據(jù)治理方面投資的企業(yè)中，只有20%的企業(yè)能夠成功擴(kuò)大治理規(guī)模。為了實(shí)現(xiàn)完整的數(shù)據(jù)治理，企業(yè)正在轉(zhuǎn)向元數(shù)據(jù)，以提供更深入的上下文，了解數(shù)據(jù)來(lái)自何處以及數(shù)據(jù)流向何處。隨著數(shù)據(jù)的持續(xù)增長(zhǎng)和治理需求的增加，組織意識(shí)到跟蹤和自動(dòng)化元數(shù)據(jù)管理的能力是一個(gè)新的日益增長(zhǎng)的挑戰(zhàn)。在接下來(lái)的一年里，我預(yù)計(jì)隨著元數(shù)據(jù)量的持續(xù)增長(zhǎng)，企業(yè)和供應(yīng)商都將尋找新的、可擴(kuò)展的方法來(lái)解決元數(shù)據(jù)挑戰(zhàn)，并越來(lái)越多地依賴人工智能來(lái)解決這一切。

    四、針對(duì)多環(huán)境的數(shù)據(jù)治理

    企業(yè)將自己的所有數(shù)據(jù)直接存放在一個(gè)云服務(wù)提供商內(nèi)的時(shí)代已經(jīng)一去不復(fù)返了?，F(xiàn)在，各組織都有了本地?cái)?shù)據(jù)，并根據(jù)它們的特定需求與幾家云提供商合作。這一現(xiàn)實(shí)引發(fā)了對(duì)數(shù)據(jù)治理方式的“反思”。企業(yè)必須確定其當(dāng)前的數(shù)據(jù)治理將如何受到影響，需要調(diào)整哪些方面，如何監(jiān)控云中的數(shù)據(jù)質(zhì)量，以及如何管理數(shù)據(jù)的進(jìn)出(以及隨之而來(lái)的巨額費(fèi)用)。

    五、數(shù)據(jù)目錄和統(tǒng)一數(shù)據(jù)訪問(wèn)的進(jìn)一步發(fā)展

    企業(yè)正在尋求超越數(shù)據(jù)目錄的智能系統(tǒng)，索引所有資產(chǎn)，并提供關(guān)于資產(chǎn)內(nèi)容、關(guān)系和質(zhì)量的深度分析。組織將改進(jìn)過(guò)去的數(shù)據(jù)庫(kù)連接，使數(shù)據(jù)連接到本地文件，云數(shù)據(jù)/文件，通過(guò)API，從數(shù)據(jù)流等等，但對(duì)終端用戶來(lái)說(shuō)都是一樣的。

     六、統(tǒng)一分析倉(cāng)庫(kù)

    分布式分析數(shù)據(jù)庫(kù)和可負(fù)擔(dān)的可擴(kuò)展存儲(chǔ)正在合并成一個(gè)新的東西，叫做統(tǒng)一分析倉(cāng)庫(kù)或數(shù)據(jù)湖，這取決于應(yīng)用視角。Data lake供應(yīng)商正在爭(zhēng)先添加ACID功能，提高SQL性能，添加治理、資源管理、安全、沿襲，所有這些數(shù)據(jù)倉(cāng)庫(kù)供應(yīng)商在過(guò)去三、四十年里一直在完善的東西。在過(guò)去的十年中，Data lake軟件一直在整合，而分析數(shù)據(jù)庫(kù)也看到了它們的優(yōu)勢(shì)，并將其添加到現(xiàn)有的功能中:無(wú)限規(guī)模、支持廣泛多樣的數(shù)據(jù)類型、快速采集流數(shù)據(jù)、讀時(shí)模式和機(jī)器學(xué)習(xí)能力。就像很多廠商在它們真正成為云之前就聲稱是一個(gè)統(tǒng)一的分析倉(cāng)庫(kù)一樣，一些供應(yīng)商把兩種架構(gòu)合并為一個(gè)復(fù)雜的混亂架構(gòu)，他們會(huì)聲稱是一個(gè)統(tǒng)一的分析倉(cāng)庫(kù)，但每個(gè)廠商都在爭(zhēng)著讓它真正成為現(xiàn)實(shí)。我認(rèn)為數(shù)據(jù)倉(cāng)庫(kù)供應(yīng)商擁有無(wú)與倫比的領(lǐng)先優(yōu)勢(shì)，因?yàn)闃?gòu)建一個(gè)像Vertica這樣可靠的分析數(shù)據(jù)庫(kù)可能需要10年或更長(zhǎng)時(shí)間。

    七、AI / ML將在執(zhí)行越來(lái)越多的“隱形”任務(wù)中發(fā)揮更大的作用

    在集成領(lǐng)域，迄今為止，人工智能主要圍繞學(xué)習(xí)和協(xié)助簡(jiǎn)化復(fù)雜的集成任務(wù)（例如，數(shù)據(jù)映射）。到2021年，機(jī)器學(xué)習(xí)將繼續(xù)提升，以至于AI會(huì)通過(guò)實(shí)際完成如今由人類完成的任務(wù)，并通過(guò)建議進(jìn)行“人工輔助”，從而減少AI的“輔助”而更多的“增強(qiáng)”。隨著AI越來(lái)越多地執(zhí)行這些任務(wù)，這些任務(wù)將變得無(wú)形，并且“只為您完成”，使我們向自動(dòng)集成邁進(jìn)了一步。

    八、自動(dòng)化數(shù)據(jù)集成比以往任何時(shí)候都更為重要

    越來(lái)越多地，我們看到公司需要處理的數(shù)據(jù)量和來(lái)源有了巨大的增長(zhǎng)?，F(xiàn)在，我們以兆字節(jié)為單位進(jìn)行測(cè)量，這大約是一百萬(wàn)PB，并且沒(méi)有回頭路可走了。數(shù)據(jù)只會(huì)在您的組織中不斷增長(zhǎng)。解決這一問(wèn)題的唯一方法是通過(guò)自動(dòng)化。

    在2021年，我們將繼續(xù)看到采用有助于改善數(shù)據(jù)分析師工作流程的新技術(shù)和產(chǎn)品集成。隨著數(shù)據(jù)量的增加，也需要能夠支持更復(fù)雜的數(shù)據(jù)操作的工具。DBT是一個(gè)很好的例子，它是流行的開源分析工程工具，我認(rèn)為它將在2021年及以后的現(xiàn)代數(shù)據(jù)軟件中扮演越來(lái)越重要的角色。

    九、隨著5G等新技術(shù)的普及，將產(chǎn)生更多實(shí)時(shí)數(shù)據(jù)，這些數(shù)據(jù)需要數(shù)據(jù)完整性以應(yīng)對(duì)動(dòng)態(tài)應(yīng)用和數(shù)據(jù)智能

    我們將繼續(xù)看到企業(yè)在確保數(shù)據(jù)質(zhì)量和準(zhǔn)確性方面加倍努力。在來(lái)年，可能了解準(zhǔn)確性和一致性重要性的組織將不斷增加，以強(qiáng)調(diào)上下文的關(guān)鍵維度（例如位置或人口統(tǒng)計(jì)特征）以形成差異化競(jìng)爭(zhēng)。它會(huì)帶給人們更大的信心，使人們有必要承擔(dān)必要的和經(jīng)過(guò)計(jì)算的風(fēng)險(xiǎn)，以創(chuàng)造新的可能性。我們已經(jīng)看到數(shù)據(jù)完整性已成為各個(gè)行業(yè)的一項(xiàng)主要計(jì)劃，對(duì)于行動(dòng)遲緩的企業(yè)而言，通過(guò)有效利用數(shù)據(jù)制定合理的戰(zhàn)略將是2021年建立競(jìng)爭(zhēng)優(yōu)勢(shì)的優(yōu)先事項(xiàng)。

    十、數(shù)據(jù)孤島繼續(xù)存在

    在行業(yè)中，我們經(jīng)常談?wù)摯蚱茢?shù)據(jù)孤島，但我們應(yīng)該承認(rèn)，有些孤島永遠(yuǎn)存在。在大型組織中，您將始終擁有具有自己的工具或數(shù)據(jù)庫(kù)的本地部門或區(qū)域，并且這些將繼續(xù)存在。如果您擁有數(shù)據(jù)主權(quán)，則您組織中的本地組織將繼續(xù)成為孤島。這就是為什么最好的方法是著眼于如何更好地理解所擁有的數(shù)據(jù)。數(shù)據(jù)智能平臺(tái)可以充當(dāng)您的索引和地圖，通過(guò)提供360度的數(shù)據(jù)資產(chǎn)視圖，向您展示您擁有的孤島以及它們之間的連接方式。

    十一、遠(yuǎn)程工作將加速數(shù)據(jù)治理和合規(guī)性項(xiàng)目

    由于COVID-19大流行的遠(yuǎn)程工作要求，以驚人的速度推動(dòng)的數(shù)字化轉(zhuǎn)型將迫使企業(yè)在2021年加速數(shù)據(jù)治理和合規(guī)性項(xiàng)目。借助如此眾多的遠(yuǎn)程工作者，數(shù)據(jù)無(wú)疑會(huì)在外部傳輸和共享物理邊界。這會(huì)形成隱私和安全漏洞，這對(duì)希望竊取個(gè)人身份信息的不良行為者提供了機(jī)會(huì)。組織必須為新的常態(tài)做好準(zhǔn)備，并為被迫保護(hù)數(shù)據(jù)而又不影響遠(yuǎn)程團(tuán)隊(duì)生產(chǎn)力的IT安全團(tuán)隊(duì)承受無(wú)盡的負(fù)擔(dān)。

    十二、“主動(dòng)”數(shù)據(jù)治理將規(guī)范化

    GDPR在2016年為許多組織帶來(lái)了一種“傳統(tǒng)”的治理方法。四年后，很明顯，這些努力在很大程度上失敗了。同時(shí)，出現(xiàn)了一種“主動(dòng)”方法，通過(guò)活動(dòng)和策略優(yōu)先管理工作，并在實(shí)際使用數(shù)據(jù)的情況下實(shí)施策略。這種積極的方法最初是創(chuàng)新者和早期采用者嘗試的，其新穎性和邏輯性吸引了他們，并取得了優(yōu)異的成績(jī)。這種成功吸引了越來(lái)越保守的機(jī)構(gòu)，到2021年，我們將看到鐘形曲線的強(qiáng)勁部分采用了這種經(jīng)過(guò)日益審查和流行的方法。

    十三、將有更多的企業(yè)宣布數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)之間的競(jìng)爭(zhēng)，并專注于推動(dòng)結(jié)果和現(xiàn)代化

    數(shù)據(jù)倉(cāng)庫(kù)可以繼續(xù)支持報(bào)告和商業(yè)智能，而現(xiàn)代云數(shù)據(jù)湖則比以往任何時(shí)候都更加靈活，可擴(kuò)展且廉價(jià)地支持所有分析，AI和ML支持-因此企業(yè)可以快速進(jìn)行轉(zhuǎn)型。隨著DIY方法被SaaS平臺(tái)取代，云遷移和相關(guān)的云數(shù)據(jù)湖實(shí)施將變得明顯更快，更容易。這樣的解決方案將把生產(chǎn)云數(shù)據(jù)湖的部署時(shí)間從幾個(gè)月縮短到幾分鐘，同時(shí)控制成本并提供現(xiàn)代分析計(jì)劃所需的連續(xù)操作，安全性和合規(guī)性，AI和ML支持以及自助服務(wù)訪問(wèn)。這意味著過(guò)去需要9到12個(gè)月以上的遷移才能在很短的時(shí)間內(nèi)完成。