|
https://mp.weixin.qq.com/s/KzCYA0OW-d2FGFVhLHw1fA 在各種數(shù)字化的影響下，將企業(yè)環(huán)境中的各種元數(shù)據(jù)整合利用至關(guān)重要。對于企業(yè)來說，選擇適合自己的元數(shù)據(jù)管理工具將能最大化發(fā)揮元數(shù)據(jù)的作用，以協(xié)助企業(yè)完成在數(shù)據(jù)方面的戰(zhàn)略目標。 企業(yè)中不同角色對元數(shù)據(jù)工具的期望可能有所不同，但這些期望基本都可以映射到元數(shù)據(jù)管理工具的十大能力上，當然這些能力背后少不了關(guān)鍵技術(shù)的支撐。 本文分為三部分，在第一部分，我們會先根據(jù)企業(yè)中的不同角色，列出不同角色對元數(shù)據(jù)管理的期望；然后在第二部分，總結(jié)在理想情況下元數(shù)據(jù)管理工具需要具備的十大能力，并將這些能力與不同的角色做關(guān)聯(lián)，以便不同企業(yè)可以根據(jù)自身情況選擇合適的元數(shù)據(jù)管理工具；最后在第三部分，將給出幾種現(xiàn)階段實現(xiàn)元數(shù)據(jù)管理的關(guān)鍵技術(shù)。 目錄： 一、不同角色對元數(shù)據(jù)管理的期望不同 二、如何選擇適合自己的元數(shù)據(jù)工具？ 三、元數(shù)據(jù)管理的關(guān)鍵技術(shù)？ 四、總結(jié) 一、不同角色對元數(shù)據(jù)管理的 期望不同 為了站在不同角色的角度回答這個問題，我們先把企業(yè)中與元數(shù)據(jù)管理項目相關(guān)的幾種角色列一列，這里暫且將這些角色分為企業(yè)高管、數(shù)據(jù)開發(fā)人員、數(shù)據(jù)分析人員、數(shù)據(jù)管理人員、運維人員、其他業(yè)務(wù)用戶幾種。 圖 1：與元數(shù)據(jù)管理相關(guān)的角色 企業(yè)高管：在數(shù)據(jù)越來越重要的形勢下，高管們比較關(guān)心的是企業(yè)的整個數(shù)據(jù)全貌以及數(shù)據(jù)在全企業(yè)中的使用狀況（或者可以說是更注重數(shù)據(jù)資產(chǎn)與應(yīng)用層面），但是沒有一個人能直接告訴領(lǐng)導企業(yè)中的數(shù)據(jù)是什么樣，具體的使用流通情況是什么，有效的元數(shù)據(jù)管理能很好地回答企業(yè)高管的這些問題。 數(shù)據(jù)開發(fā)人員：對于數(shù)據(jù)開發(fā)來說，最常見的問題就是大量的重復工作：明明已經(jīng)有了一模一樣的接口或者腳本，但是因為是別人寫的，沒有統(tǒng)一標識并管理起來，所以根本就找不到，即使找到了可能也會因為缺少相關(guān)的解釋說明，根本無法重復利用，降低數(shù)據(jù)開發(fā)效率的同時也造成了大量的冗余。元數(shù)據(jù)管理能方便數(shù)據(jù)開發(fā)人員查找想重復利用的信息，而解釋說明恰好可以通過業(yè)務(wù)元數(shù)據(jù)管理來實現(xiàn)。 數(shù)據(jù)分析人員：數(shù)據(jù)分析人員通常需要通過較高級的數(shù)據(jù)統(tǒng)計分析實現(xiàn)公司與戰(zhàn)略決策、業(yè)務(wù)或考核相關(guān)的目標。對于他們來說，錯綜復雜的數(shù)據(jù)關(guān)系、參差不齊的數(shù)據(jù)質(zhì)量和業(yè)務(wù)元數(shù)據(jù)的缺失是主要問題。元數(shù)據(jù)管理降低了這些信息的獲取門檻，也為數(shù)據(jù)質(zhì)量的問題追溯提供了支持。 數(shù)據(jù)管理人員：數(shù)據(jù)管理人員通常需要負責數(shù)據(jù)從設(shè)計、測試到部署交付的全生命周期管理。對于他們來說，通常需要管理各種版本的數(shù)據(jù)信息，并管理企業(yè)數(shù)據(jù)的生命周期，如何控制各狀態(tài)下數(shù)據(jù)的協(xié)調(diào)一致和及時判斷數(shù)據(jù)處于什么周期需要做什么操作是目前急需解決的問題。這可以通過管理企業(yè)元數(shù)據(jù)來實現(xiàn)。 運維人員：對于運維人員來說，需要時刻保證系統(tǒng)的穩(wěn)定性，尤其是當企業(yè)模型發(fā)生變更時，要不斷判斷變更帶來的影響，顯然人工判斷的方式在準確性和實時性上都很難保證，而且對運維人員的業(yè)務(wù)能力要求較高，很大程度上增加了系統(tǒng)風險。通過元數(shù)據(jù)管理，當系統(tǒng)變更時，可以根據(jù)已經(jīng)獲取到的系統(tǒng)、表等對象間關(guān)系自動分析出變更帶來的影響，用自動化的方式降低維護成本，提升用戶體驗。 其他業(yè)務(wù)人員：由于業(yè)務(wù)人員對業(yè)務(wù)規(guī)則、業(yè)務(wù)流程比較熟悉，通常不需要對技術(shù)細節(jié)有很深入的了解，技術(shù)門檻往往導致業(yè)務(wù)人員獲取和理解數(shù)據(jù)難，因為不了解數(shù)據(jù)存儲情況，也很難技術(shù)溝通業(yè)務(wù)需求，往往最終難到手的數(shù)據(jù)也不是自己想要的，難以匹配業(yè)務(wù)的快速發(fā)展。 二、如何選擇適合自己的 元數(shù)據(jù)工具？ 通過以上可以看出，不同用戶對元數(shù)據(jù)管理工具寄予著不同的期望（見圖2） 圖 2 ：不同用戶對元數(shù)據(jù)管理工具寄予著不同的期望 企業(yè)開展元數(shù)據(jù)管理項目可能需要解決的是其中一類用戶或者其中幾類用戶的問題，我們先列出一些元數(shù)據(jù)管理工具的基本能力，然后再將這些能力與上文中的期望對應(yīng)起來，企業(yè)可以通過參考二者之間的對應(yīng)關(guān)系，來指向性地選擇適合自己的元數(shù)據(jù)管理工具。 通過大量元數(shù)據(jù)項目的實踐，我總結(jié)出了在理想情況下，元數(shù)據(jù)管理工具需要具備的十種能力，如下： 圖 3：元數(shù)據(jù)管理工具的十種能力
從錯綜復雜的企業(yè)環(huán)境中自動實時解析和采集各種元數(shù)據(jù)的能力，為應(yīng)對各種數(shù)據(jù)環(huán)境，這個環(huán)節(jié)通常需要使用各種技術(shù)和語法來支持大數(shù)據(jù)平臺、關(guān)系型數(shù)據(jù)庫、第三方工具、存儲過程、腳本、文本文件、表格文件的自動化采集。
將采集過來的元數(shù)據(jù)進行統(tǒng)一存儲的能力，為支持各種元數(shù)據(jù)以及元數(shù)據(jù)之間關(guān)系的存儲，元數(shù)據(jù)存儲需要靈活可擴展的架構(gòu)支撐，另外，能夠?qū)崟r更新存儲也是很重要的一點。
提供統(tǒng)一的端口對元數(shù)據(jù)進行查找的能力，完善的元數(shù)據(jù)管理工具應(yīng)該能支持按照企業(yè)的各種分類方法來對元數(shù)據(jù)進行查找（有一部分分類方式蘊含在元數(shù)據(jù)本身中，需要通過對元數(shù)據(jù)進行分析之后獲得）。比如你可能會按照系統(tǒng)、表、指標、接口等不同維度查找信息，甚至會根據(jù)自己的查找習慣新建一個完全不同的類別。
分析數(shù)據(jù)的來源和數(shù)據(jù)的流向，揭示數(shù)據(jù)的上下游關(guān)系，在元數(shù)據(jù)管理工具中分析、描述并可視化其中的細節(jié)，方便用戶對關(guān)鍵信息進行跟蹤。完善的血緣分析需要是橫向（當前）和縱向（歷史）雙向可用的，以方便對同一時期不同對象的分析和不同時期同一對象的變化。
元數(shù)據(jù)的增刪改等權(quán)限的控制是元數(shù)據(jù)管理工具中需要特別注意的地方，工具中應(yīng)該支持訪問權(quán)限的控制。比如，數(shù)據(jù)管理員具有所有權(quán)限，開發(fā)人員可能更關(guān)注開發(fā)環(huán)境、測試環(huán)境元數(shù)據(jù)，而企業(yè)管理者可能只關(guān)注生產(chǎn)環(huán)境的元數(shù)據(jù)情況，總經(jīng)理級別的用戶可以訪問企業(yè)多種環(huán)境下的元數(shù)據(jù)，而部門負責人可能只關(guān)注與本部門相關(guān)的元數(shù)據(jù)。
采集企業(yè)環(huán)境中的業(yè)務(wù)元數(shù)據(jù)，并完成業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的映射，為元數(shù)據(jù)賦予業(yè)務(wù)屬性，這也是發(fā)揮元數(shù)據(jù)管理工具業(yè)務(wù)價值的一個關(guān)鍵。 圖 4：技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的對應(yīng)
當元數(shù)據(jù)需要變更時，提供變更審核能力，明確元數(shù)據(jù)版本，保存元數(shù)據(jù)的歷史狀態(tài)，在發(fā)生任何問題時可以自動恢復到之前的版本。在某個元數(shù)據(jù)項發(fā)生變更時，可能還需要對該次變更將要產(chǎn)生的影響進行分析和評估。
對不同環(huán)境中的元數(shù)據(jù)進行對比分析，分析其中的異同，必要時還能根據(jù)分析結(jié)果產(chǎn)出相應(yīng)的分析報告。
在理想狀態(tài)下，元數(shù)據(jù)管理工具應(yīng)該保留數(shù)據(jù)從創(chuàng)建、存儲，到過時被刪除/備份等各種狀態(tài)下的元數(shù)據(jù)，從而管理數(shù)據(jù)在整個生命周期中的流動。作為一項規(guī)則，較新的數(shù)據(jù)和那些很可能被更加頻繁訪問的數(shù)據(jù)，應(yīng)該存儲在容易被訪問的位置，而那些不是很重要的數(shù)據(jù)則可以備份存儲在比較便宜的，稍微慢些的媒介上。 圖 5：數(shù)據(jù)生命周期
要想讓元數(shù)據(jù)管理系統(tǒng)發(fā)揮業(yè)務(wù)價值，還有非常重要的一點就是元數(shù)據(jù)管理工具與其他系統(tǒng)的集成能力。 這些能力與剛開始提出的幾種需求之間的對應(yīng)關(guān)系整理如下（鑒于元數(shù)據(jù)采集與元數(shù)據(jù)存儲是幾乎每種需求都需要的基本能力，所以我把這兩項單獨拿出來不參與對應(yīng)），企業(yè)可根據(jù)對應(yīng)關(guān)系來選擇元數(shù)據(jù)管理工具： 圖 6：角色與十大能力的對應(yīng)關(guān)系 三、元數(shù)據(jù)管理的關(guān)鍵技術(shù)？ 一般來說，元數(shù)據(jù)管理項目需要用到眾多技術(shù)，在這里講四種：高度靈活可擴展的架構(gòu)、角色訪問控制和分層、業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)對應(yīng)、與其他系統(tǒng)的集成。 圖 7：元數(shù)據(jù)管理的關(guān)鍵技術(shù)
企業(yè)數(shù)據(jù)環(huán)境中的數(shù)據(jù)雜亂，形態(tài)多樣，標準不一，若要實現(xiàn)所有元數(shù)據(jù)的有效采集或者自動化采集和存儲，必須有高度靈活可擴展的架構(gòu)支撐，也意味著元數(shù)據(jù)的架構(gòu)要能和企業(yè)的各種模型進行“交流”，這在之前王軒的文章《大數(shù)據(jù)治理技術(shù)核心，可擴展的元數(shù)據(jù)架構(gòu)設(shè)計》中提及到了具體方法，在這里不再多說。
如上文所述，企業(yè)元數(shù)據(jù)管理涉及到很多不同的人員，優(yōu)秀的元數(shù)據(jù)管理工具應(yīng)該做好角色訪問控制，具體實現(xiàn)方法可以歸結(jié)為兩種： 1、在平臺匯總建立角色分層機制/角色組，將企業(yè)中的不同角色按照具體需求分類到不同的角色組中，對不同角色組展示不同的功能。 2、在工具內(nèi)部建立角色與功能之間的映射，并且支持根據(jù)企業(yè)情況進行靈活配置（畢竟各企業(yè)的角色和所對應(yīng)的功能不盡相同），根據(jù)映射對不同角色展示不同的功能。
這是企業(yè)從數(shù)據(jù)管理向知識管理轉(zhuǎn)變的關(guān)鍵，關(guān)于業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的對應(yīng)，可以參考我們之前寫過的文章。另外我認為除了領(lǐng)域本體構(gòu)建，編織模型（Weaving Model，V. Stefanov提出）未來也可能會成為對應(yīng)二者之間關(guān)系的一種技術(shù)，這種方式通過編織模型來存儲和管理企業(yè)不同模型之間的關(guān)系，例如，通過建立星型模型/雪花型模型與業(yè)務(wù)流程模型、企業(yè)組織架構(gòu)等之間的關(guān)系，可以自動獲取到數(shù)據(jù)所對應(yīng)的業(yè)務(wù)信息和管理者信息等。
隨著各種數(shù)據(jù)政策的出臺，元數(shù)據(jù)成為企業(yè)各種流程中不可或缺的重要部分，人們對元數(shù)據(jù)驅(qū)動的呼聲越來越高，而要實現(xiàn)元數(shù)據(jù)驅(qū)動，除了元數(shù)據(jù)分類和模型的標準化，元數(shù)據(jù)管理工具是否與企業(yè)的其他系統(tǒng)（比如，CRM、ERP、SCM、OA等系統(tǒng)，還有同與數(shù)據(jù)管理相關(guān)的數(shù)據(jù)標準系統(tǒng)、數(shù)據(jù)質(zhì)量系統(tǒng)）集成，為其他系統(tǒng)提供元數(shù)據(jù)服務(wù)，是主要的關(guān)鍵點。一種方法是向企業(yè)中的不同角色、不同用戶、不同系統(tǒng)提供可以靈活配置的接口，實現(xiàn)全企業(yè)的而高效協(xié)作；另一種方法是將元數(shù)據(jù)管理工具直接集成到企業(yè)的portal中，在企業(yè)其他信息系統(tǒng)中保留元數(shù)據(jù)存儲庫的入口。 圖 8：元數(shù)據(jù)管理的需求-能力-技術(shù)模型 不同的企業(yè)對元數(shù)據(jù)管理有不同的需求，企業(yè)要選擇最適合自身情況的元數(shù)據(jù)管理工具。本文給出了基于角色的元數(shù)據(jù)管理需求，以及這些需求與元數(shù)據(jù)管理十大能力之間的映射關(guān)系，這種映射關(guān)系可以幫助企業(yè)選擇具有特定能力的元數(shù)據(jù)管理工具，在最后，對幾種支撐這些能力關(guān)鍵技術(shù)做出了解釋。 參考文獻： 1.王軒. 大數(shù)據(jù)治理技術(shù)核心，可擴展的元數(shù)據(jù)架構(gòu)設(shè)計[EB/OL]. http://www./BigData/2016-07/12/content_5076844.htm. 2.V Stefanov. Explaining Data Warehouse Data to Business Users.[EB/OL]. http://aisel./cgi/viewcontent.cgi?article=1070&context=ecis2007. 3.KM, Hüner. Collaborative management of business metadata[EB/OL]. https://www./science/article/pii/S0268401210001817.
|
|
|
