如今，大多數(shù)組織都意識到了積極規(guī)范的數(shù)據(jù)管理的必要性。他們將數(shù)據(jù)視為資產(chǎn)，并通過管理和結(jié)構(gòu)標(biāo)準(zhǔn)和控制來管理數(shù)據(jù)。但問題是，相反，大多數(shù)組織對元數(shù)據(jù)管理的態(tài)度是被動和隨意的。

數(shù)據(jù)團(tuán)隊(duì)通常將數(shù)據(jù)目錄視為元數(shù)據(jù)需求的解決方案。從結(jié)構(gòu)上看，很明顯，數(shù)據(jù)目錄只是解決方案的一部分，往往是問題的一部分。組織管理數(shù)據(jù)作為資產(chǎn)，但將元數(shù)據(jù)視為數(shù)據(jù)管理過程的副產(chǎn)物。這種“數(shù)據(jù)管理，元數(shù)據(jù)產(chǎn)生”的方法充滿了風(fēng)險。隨著數(shù)據(jù)管理的復(fù)雜性越來越高，元數(shù)據(jù)管理已經(jīng)成為一門不可或缺的學(xué)科。

在這篇文章中，我把這個結(jié)構(gòu)視圖作為一種思維工具，即開始了解元數(shù)據(jù)管理的范圍和復(fù)雜性的方法。它不能解決所有元數(shù)據(jù)管理的挑戰(zhàn)。這是一個開始，而不是結(jié)束，也是一個開始尋找元數(shù)據(jù)挑戰(zhàn)解決方案的工具，如荒島、差異、自助服務(wù)困難和數(shù)據(jù)目錄利用率低。

一 宏觀視角的元數(shù)據(jù)管理架構(gòu)

讓我們從元數(shù)據(jù)管理架構(gòu)的整體角度出發(fā)。(圖1。)從宏觀角度來看，元數(shù)據(jù)管理包括三個主題:

元素主題及來源指元數(shù)據(jù)描述的事物(主題)和元數(shù)據(jù)的衍生或來源(來源)。這些包括組織協(xié)調(diào)的數(shù)據(jù)清單和管理數(shù)據(jù)的過程。

生命周期的元數(shù)據(jù)這是元數(shù)據(jù)從一開始，經(jīng)過每一個處理和管理行為階段，直到消費(fèi)和使用為止所遵循的路徑。

元數(shù)據(jù)管理流程及商品它是管理元數(shù)據(jù)實(shí)施的目標(biāo)和活動，以及這些任務(wù)和活動的成果。

圖1.元數(shù)據(jù)管理架構(gòu)宏觀視圖

二 對元數(shù)據(jù)管理架構(gòu)的深入探討

下面讓我們仔細(xì)看一下元數(shù)據(jù)管理架構(gòu)的每一個部件。

1.元數(shù)據(jù)主題及來源

如上所述，元數(shù)據(jù)的主題和來源包括管理的數(shù)據(jù)清單和管理這些數(shù)據(jù)的過程。典型的組織數(shù)據(jù)清單非常龐大和多樣化。(如圖2所示。)它不僅包括用于業(yè)務(wù)運(yùn)營的運(yùn)營數(shù)據(jù)，還包括用于衡量和管理業(yè)務(wù)的處理數(shù)據(jù)。運(yùn)營數(shù)據(jù)和處理數(shù)據(jù)由內(nèi)部生成的企業(yè)數(shù)據(jù)和從合作伙伴和數(shù)據(jù)提供商那里獲得的外部數(shù)據(jù)組成。

圖表2.數(shù)據(jù)清單

數(shù)據(jù)清單顯然是元數(shù)據(jù)的主題。它包括元數(shù)據(jù)描述的大部分內(nèi)容——名稱、含義、規(guī)則和約束。重要的是要意識到清單也是元數(shù)據(jù)的來源。AI/ML算法可以用來從列表中獲取元數(shù)據(jù)，包括語義推理、隱私和安全敏感數(shù)據(jù)的標(biāo)記、顯示數(shù)據(jù)聯(lián)系的知識地圖和其他類型的自動元數(shù)據(jù)發(fā)現(xiàn)。

元數(shù)據(jù)的主題和來源還包括數(shù)據(jù)管理過程，用于管理數(shù)據(jù)庫存。(如圖3所示。)這些過程包括(但不限于)操作系統(tǒng)、數(shù)據(jù)倉庫、數(shù)據(jù)湖管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)可觀察的過程。

圖表3.數(shù)據(jù)管理過程

數(shù)據(jù)管理過程不僅是元數(shù)據(jù)的主體，也是元數(shù)據(jù)的來源。理想情況下，核心信息系統(tǒng)(運(yùn)營、數(shù)據(jù)倉庫、數(shù)據(jù)湖和MDM)建立在元數(shù)據(jù)基礎(chǔ)(如數(shù)據(jù)模型和數(shù)據(jù)定義)之上，旨在生成描述如何創(chuàng)建、更新和刪除數(shù)據(jù)的元數(shù)據(jù)。數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)可觀測系統(tǒng)將生成額外的元數(shù)據(jù)，具有相關(guān)的數(shù)據(jù)特征和數(shù)據(jù)處理。

元數(shù)據(jù)的生命周期

元數(shù)據(jù)的生命周期是元數(shù)據(jù)從開始到使用所遵循的路徑——元數(shù)據(jù)采集、元數(shù)據(jù)存儲、元數(shù)據(jù)訪問、元數(shù)據(jù)消費(fèi)等活動。

元數(shù)據(jù)采集包括從源頭和主題捕捉元數(shù)據(jù)的所有活動。(如圖4所示。)這些活動包括元數(shù)據(jù)的建立、元數(shù)據(jù)的發(fā)現(xiàn)和元數(shù)據(jù)的獲取。

圖表4.元數(shù)據(jù)采集

當(dāng)流程創(chuàng)建新的元數(shù)據(jù)時，元數(shù)據(jù)就會被創(chuàng)建。這些可能是計算機(jī)過程，如數(shù)據(jù)繼承和描述為元數(shù)據(jù)的數(shù)據(jù)管道執(zhí)行，或者是人工過程，如系統(tǒng)設(shè)計中的數(shù)據(jù)建模，數(shù)據(jù)倉庫設(shè)計中的源/目標(biāo)投射，以及用于描述和標(biāo)記數(shù)據(jù)的數(shù)據(jù)處理過程。任何生成描述數(shù)據(jù)清單或數(shù)據(jù)管理過程的任務(wù)或活動都是元數(shù)據(jù)的創(chuàng)建者。

在智能化過程中，通過查看數(shù)據(jù)找到元數(shù)據(jù)，就會發(fā)現(xiàn)元數(shù)據(jù)。發(fā)現(xiàn)可以通過AI/ML代理的方式進(jìn)行，這些代理人會抓取存儲的數(shù)據(jù)來提取元數(shù)據(jù)——例如發(fā)現(xiàn)數(shù)據(jù)的語義。這個過程也叫元數(shù)據(jù)掃描。發(fā)現(xiàn)也可能發(fā)生在數(shù)據(jù)處理的一部分——例如，智能數(shù)據(jù)湖的攝入量會自動對帶入數(shù)據(jù)湖的數(shù)據(jù)進(jìn)行分類，并在攝入時基于AI/ML自動標(biāo)記數(shù)據(jù)。數(shù)據(jù)探索和數(shù)據(jù)質(zhì)量分析師進(jìn)行數(shù)據(jù)分析等活動的一部分也可能發(fā)生在數(shù)據(jù)科學(xué)家手動發(fā)現(xiàn)中。

元數(shù)據(jù)收集包括在元數(shù)據(jù)難以建立或發(fā)現(xiàn)時收集元數(shù)據(jù)的過程。采集是從人工和數(shù)字來源獲取元數(shù)據(jù)的工作。這包括手動記錄元數(shù)據(jù)(如策展人注釋)和眾包元數(shù)據(jù)，以捕捉SME知識和數(shù)據(jù)消費(fèi)者體驗(yàn)。采集也可以通過元數(shù)據(jù)導(dǎo)入過程來獲取由不易與企業(yè)元數(shù)據(jù)存儲庫或數(shù)據(jù)目錄相互操作的工具和流程建立的元數(shù)據(jù)。

元數(shù)據(jù)存儲包括存儲元數(shù)據(jù)的技術(shù)存儲元數(shù)據(jù)的位置。(如圖5所示。)這些通常包括元數(shù)據(jù)存儲和文件或數(shù)據(jù)庫管理系統(tǒng)(包括電子表格-常見但不理想的方法)，包括數(shù)據(jù)目錄、元數(shù)據(jù)存儲庫、特定于工具的元數(shù)據(jù)存儲。

圖表5.元數(shù)據(jù)存儲

元數(shù)據(jù)存儲是一個存在許多元數(shù)據(jù)管理問題的行業(yè)。。請注意，上面列出的一切都以復(fù)數(shù)的形式表示-目錄、存儲庫、元數(shù)據(jù)存儲、文件系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)。這個問題就是元數(shù)據(jù)孤島，冗余，不一致，混亂。采用現(xiàn)代數(shù)據(jù)管理技術(shù)，多元數(shù)據(jù)存儲可能是不可避免的。這個問題是由嵌入供應(yīng)商專有工具的元數(shù)據(jù)、內(nèi)置在數(shù)據(jù)準(zhǔn)備和分析工具中的數(shù)據(jù)目錄以及定制的元數(shù)據(jù)解決方案引起的。就結(jié)構(gòu)而言，我們需要考慮元數(shù)據(jù)的互操作性和指定的元數(shù)據(jù)記錄系統(tǒng)概念，例如公司正式認(rèn)可的數(shù)據(jù)目錄。

元數(shù)據(jù)訪問為人員和過程提供了搜索和使用元數(shù)據(jù)所需的功能。瀏覽提供數(shù)據(jù)目錄、元數(shù)據(jù)連接器、元數(shù)據(jù)API和元數(shù)據(jù)統(tǒng)計。連接器和API可以由元數(shù)據(jù)管理工具提供，也可以通過內(nèi)部開發(fā)簡化瀏覽和嵌入元數(shù)據(jù)的密鑰管理。

圖表6.元數(shù)據(jù)訪問

當(dāng)元數(shù)據(jù)以不同的形式存儲在元數(shù)據(jù)孤島時，元數(shù)據(jù)訪問會變得更加復(fù)雜(搜索和瀏覽元數(shù)據(jù)的問題)。在結(jié)構(gòu)方面，您可能需要考慮元數(shù)據(jù)注冊表或元數(shù)據(jù)門戶等解決方案來部分緩解這些困難。

元數(shù)據(jù)消費(fèi)包括每個人、軟件和計算機(jī)處理使用元數(shù)據(jù)的各種方法。(如圖7所示。)元數(shù)據(jù)可以主動使用——即流程瀏覽元數(shù)據(jù)，并使用它做出運(yùn)行決策。它也可以被動使用——人類瀏覽來了解數(shù)據(jù)，并做出如何使用數(shù)據(jù)的決定。

圖表7.元數(shù)據(jù)消耗

搜索和理解信息是數(shù)據(jù)分析師和自助數(shù)據(jù)客戶的常見用例。管理數(shù)據(jù)的生命周期是數(shù)據(jù)管理員、數(shù)據(jù)管理者和自動化工具(如數(shù)據(jù)湖管理和數(shù)據(jù)管理工具)的核心。報告、分析和AI/ML都依賴于元數(shù)據(jù)——無論是人工設(shè)計和開發(fā)過程，還是自動操作和執(zhí)行過程。

3.元數(shù)據(jù)管理流程及商品

元數(shù)據(jù)管理實(shí)踐和產(chǎn)品是管理元數(shù)據(jù)實(shí)施的目標(biāo)和活動，以及這些任務(wù)和活動的有形結(jié)果。(如圖8所示。)商品是元數(shù)據(jù)清單中的東西。實(shí)踐是管理元數(shù)據(jù)活動的過程和執(zhí)行任務(wù)。

圖8.元數(shù)據(jù)管理實(shí)踐及商品

元數(shù)據(jù)清單包括業(yè)務(wù)元數(shù)據(jù)，用于描述語義和業(yè)務(wù)意義，將數(shù)據(jù)與工作流程聯(lián)系起來，并描述建立數(shù)據(jù)約束的業(yè)務(wù)規(guī)則。技術(shù)元數(shù)據(jù)從技術(shù)角度描述數(shù)據(jù)，包括數(shù)據(jù)庫模式、數(shù)據(jù)類型、數(shù)據(jù)類型、平臺和存儲位置以及數(shù)據(jù)實(shí)現(xiàn)的其他技術(shù)。對數(shù)據(jù)操作過程及其結(jié)果進(jìn)行操作元數(shù)據(jù)描述-例如，數(shù)據(jù)倉庫中的數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)在數(shù)據(jù)管道移動時的數(shù)據(jù)繼承。關(guān)于社會元數(shù)據(jù)描述數(shù)據(jù)的人性化，回答以下問題：

誰是數(shù)據(jù)管理員？

誰是頻繁的數(shù)據(jù)客戶？

盡管有些人可能會認(rèn)為社會元數(shù)據(jù)是瑣碎或無關(guān)緊要的，但是在努力提高數(shù)據(jù)目錄的利用率時，建立人際關(guān)系是非常重要的。

三 元素數(shù)據(jù)管理架構(gòu)視圖

整合上面討論的所有元數(shù)據(jù)管理部分，建立圖9所示的元數(shù)據(jù)管理架構(gòu)。

圖9.元數(shù)據(jù)管理架構(gòu)

為了方便閱讀，最好參考每個部分的獨(dú)立圖表。該圖的目的是顯示范圍和復(fù)雜性(組件數(shù)量及其關(guān)系)，這使得元數(shù)據(jù)管理成為一項(xiàng)具有挑戰(zhàn)性的工作。

這種結(jié)構(gòu)視圖作為一種思維工具——一種開始了解元數(shù)據(jù)管理范圍和復(fù)雜性的方法。它不能解決所有元數(shù)據(jù)管理的挑戰(zhàn)。它是一個解決元數(shù)據(jù)孤島、元數(shù)據(jù)差異、自助數(shù)據(jù)困難、數(shù)據(jù)目錄選擇不佳以及許多其他元數(shù)據(jù)挑戰(zhàn)的解決方案工具，而不是結(jié)束。

本文來自微信微信官方賬號“數(shù)據(jù)驅(qū)動智能”（ID：Data作者：曉曉，36氪經(jīng)授權(quán)發(fā)布，_0101)。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com