數(shù)據(jù)湖部署中的五個(gè)數(shù)據(jù)治理挑戰(zhàn)

成功的數(shù)據(jù)治理計(jì)劃涉及部署策略、標(biāo)準(zhǔn)和流程，以有效、正確地利用整個(gè)企業(yè)的優(yōu)質(zhì)數(shù)據(jù)。如果您的企業(yè)有數(shù)據(jù)湖環(huán)境，并希望獲得高質(zhì)量的分析結(jié)果，您需要部署正確的數(shù)據(jù)湖治理作為整體治理計(jì)劃的一部分。

然而，數(shù)據(jù)湖給企業(yè)數(shù)據(jù)管理的各個(gè)方面帶來(lái)了挑戰(zhàn)，包括數(shù)據(jù)管理。在討論治理挑戰(zhàn)之前，有必要定義什么是數(shù)據(jù)湖：一個(gè)可容納大量原始數(shù)據(jù)的數(shù)據(jù)平臺(tái)，通常以自己的格式保留，直到需要分析。

傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)將數(shù)據(jù)存儲(chǔ)在關(guān)系表中，而數(shù)據(jù)湖使用平面結(jié)構(gòu)。每個(gè)數(shù)據(jù)元素分配唯一的識(shí)別符，并標(biāo)記一組元數(shù)據(jù)標(biāo)簽。也就是說(shuō)，數(shù)據(jù)湖沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)那么結(jié)構(gòu)化。當(dāng)訪問(wèn)數(shù)據(jù)進(jìn)行分析時(shí)，數(shù)據(jù)將被分類和整理，而不是在數(shù)據(jù)加載到數(shù)據(jù)湖中。

有效的數(shù)據(jù)管理使企業(yè)能夠提高數(shù)據(jù)質(zhì)量和一致性，并在很大程度上利用數(shù)據(jù)進(jìn)行業(yè)務(wù)決策，從而提高業(yè)務(wù)規(guī)劃和財(cái)務(wù)績(jī)效。數(shù)據(jù)管理的支持?jǐn)?shù)據(jù)管理學(xué)科包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理和數(shù)據(jù)安全，所有這些因素都影響到數(shù)據(jù)湖管理。

現(xiàn)在，讓我們來(lái)看看以下五個(gè)數(shù)據(jù)湖部署中的數(shù)據(jù)治理挑戰(zhàn)。

1.識(shí)別和維護(hù)正確的數(shù)據(jù)源

在很多數(shù)據(jù)湖部署中，源元數(shù)據(jù)沒(méi)有被獲取或根本不可用，這使得數(shù)據(jù)湖內(nèi)容的有效性令人質(zhì)疑。例如，可能未列出記錄系統(tǒng)或數(shù)據(jù)集的業(yè)務(wù)所有者，或者顯然冗余數(shù)據(jù)可能會(huì)給數(shù)據(jù)分析人員造成問(wèn)題。至少應(yīng)記錄數(shù)據(jù)湖中所有數(shù)據(jù)的源元數(shù)據(jù)，并使用戶可以使用它來(lái)了解其出處。

2.元數(shù)據(jù)管理問(wèn)題

元數(shù)據(jù)為數(shù)據(jù)集內(nèi)容提供背景信息，是應(yīng)用程序中易于理解和使用數(shù)據(jù)的重要組成部分。然而，許多數(shù)據(jù)湖部署忽略了正確定義收集到的數(shù)據(jù)應(yīng)用程序的需求。此外，由于原始數(shù)據(jù)通常被加載到數(shù)據(jù)湖中，許多企業(yè)沒(méi)有采取步驟來(lái)驗(yàn)證數(shù)據(jù)或應(yīng)用企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)。缺乏適當(dāng)?shù)脑獢?shù)據(jù)管理使數(shù)據(jù)湖中的數(shù)據(jù)對(duì)分析沒(méi)有用。

3.數(shù)據(jù)處理和數(shù)據(jù)質(zhì)量缺乏協(xié)調(diào)

不協(xié)調(diào)的數(shù)據(jù)湖治理和數(shù)據(jù)質(zhì)量工作會(huì)導(dǎo)致劣質(zhì)數(shù)據(jù)進(jìn)入數(shù)據(jù)湖。當(dāng)這些數(shù)據(jù)用于分析和驅(qū)動(dòng)業(yè)務(wù)決策時(shí)，結(jié)果可能不準(zhǔn)確，導(dǎo)致對(duì)數(shù)據(jù)湖失去信心，整個(gè)企業(yè)普遍不信任數(shù)據(jù)。有效的數(shù)據(jù)湖部署需要數(shù)據(jù)質(zhì)量分析師和工程師與數(shù)據(jù)管理團(tuán)隊(duì)和數(shù)據(jù)管理人員密切合作，部署數(shù)據(jù)質(zhì)量策略，分析數(shù)據(jù)，并采取必要措施提高質(zhì)量。

4.數(shù)據(jù)治理和數(shù)據(jù)安全缺乏協(xié)調(diào)

在這種情況下，如果數(shù)據(jù)安全標(biāo)準(zhǔn)和策略沒(méi)有正確納入治理過(guò)程，可能無(wú)法訪問(wèn)受隱私法規(guī)和其他類型敏感數(shù)據(jù)保護(hù)的個(gè)人數(shù)據(jù)。雖然數(shù)據(jù)湖旨在成為一個(gè)相當(dāng)開(kāi)放的數(shù)據(jù)源，但仍需要安全和訪問(wèn)控制措施，數(shù)據(jù)管理和數(shù)據(jù)安全團(tuán)隊(duì)?wèi)?yīng)共同完成數(shù)據(jù)湖的設(shè)計(jì)和加載過(guò)程，以及持續(xù)的數(shù)據(jù)管理。

5.使用相同數(shù)據(jù)湖的業(yè)務(wù)部門之間的沖突

不同的部門可能對(duì)類似的數(shù)據(jù)有不同的業(yè)務(wù)規(guī)則，這可能導(dǎo)致無(wú)法協(xié)調(diào)數(shù)據(jù)差異進(jìn)行準(zhǔn)確分析。完善的數(shù)據(jù)治理方案應(yīng)具有企業(yè)對(duì)數(shù)據(jù)策略、標(biāo)準(zhǔn)、流程和定義的視角，包括企業(yè)業(yè)務(wù)詞匯表，可以減少多個(gè)業(yè)務(wù)部門使用同一數(shù)據(jù)湖時(shí)的問(wèn)題。若企業(yè)有多個(gè)數(shù)據(jù)湖，則每個(gè)數(shù)據(jù)湖都應(yīng)包含在數(shù)據(jù)湖治理過(guò)程中，并為其分配業(yè)務(wù)數(shù)據(jù)管理員。簡(jiǎn)而言之，通過(guò)在數(shù)據(jù)湖的設(shè)計(jì)、加載和維護(hù)過(guò)程中增加強(qiáng)大的數(shù)據(jù)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全過(guò)程，并積極參與這些領(lǐng)域的經(jīng)驗(yàn)豐富的專業(yè)人員，可以顯著提高數(shù)據(jù)湖的價(jià)值。否則，你的數(shù)據(jù)湖可能會(huì)變成數(shù)據(jù)沼澤。