數據治理

出自 MBA智库百科(https://wiki.mbalib.com/)

數據治理（Data Governance）

　　數據治理（Data Governance）是組織中涉及數據使用的一整套管理行為。由企業數據治理部門發起並推行，關於如何制定和實施針對整個企業內部數據的商業應用和技術管理的一系列政策和流程。

　　國際數據管理協會（DAMA）給出的定義：數據治理是對數據資產管理行使權力和控制的活動集合。

　　國際數據治理研究所（DGI）給出的定義：數據治理是一個通過一系列信息相關的過程來實現決策權和職責分工的系統，這些過程按照達成共識的模型來執行，該模型描述了誰（Who）能根據什麼信息，在什麼時間（When）和情況（Where）下，用什麼方法（How），採取什麼行動（What）。

　　數據治理的最終目標是提升數據的價值，數據治理非常必要，是企業實現數字戰略的基礎，它是一個管理體系，包括組織、制度、流程、工具。

　　“數據治理”的概念最早可以追溯到2004年，由H. Watson首先提出。H. Watson研究了數據倉庫治理在企業管理中的實踐，由此拉開了數據治理研究的帷幕。在早期階段，數據治理被廣泛用於企業管理領域，Otto認為數據治理是“組織中與數據相關事務的決策權及相關職責的分配。^[1]

　　（一）應對型治理

　　應對型數據治理是指通過客戶關係管理（CRM）等“前臺”應用程式和諸如 企業資源規劃（ERP）等“後臺”應用程式授權主數據，例如客戶、產品、供應商、員工等。然後，數據移動工具將最新的或更新的主數據移動到多領域MDM系統中。它整理、匹配和合併數據，以創建或更新“黃金記錄”，然後同步回原始系統、其它企業應用程式以及數據倉庫或商業智能分析系統。

　　1、缺點：

　　批量集成和應對型數據治理方法引入的時間延遲可能導致業務部門繼續操作重覆、不完整且不精確的主數據。因此，這會降低多領域MDM方案實現在正確的時間向正確的人員提供正確數據這一預期業務目標的能力。在期望被設定為數據將變得乾凈、精確且及時之後，批量集成引入的時間延遲讓人感到沮喪。應對型數據治理（下游數據管理員小組負責整理、去重覆、糾正和完成關鍵主數據）可能導致讓人認為“數據治理官僚化”。

　　應對型數據治理還會導致最終用戶將數據管理團隊看作“數據質量警察”，並產生相應的官僚化和延遲以及主數據仍然不幹凈的負面認識。這還將使得MDM方案更難實現它的所有預期優勢，並可能導致更高的數據管理總成本。此方法的風險是組織可能以“兩個領域中的最差”而告終，至少部分上如此–—已在MDM方案中投資，但是只能實現一些潛在優勢，即在整個企業內獲得乾凈、精確、及時以及一致的主數據。

　　2、改進方法：

　　有三個方法可超越應對型數據治理。

　　（1）用戶將數據直接輸入到多領域MDM系統中：用戶使用界面友好的前端將數據直接輸入到多領域MDM系統中，但是他們的新記錄和現有記錄的更新留在暫存區域或保留區域，直到數據管理員審核和認證為止。這之後MDM系統才接受插入或更新，以便進行完整的整理、匹配、合併，並將“最佳記錄”發佈到企業的所有其他應用程式。此方法好過將一個完全不同的應用程式（例如CRM或ERP系統）作為“錄入系統”，但是它仍然會出現延遲和效率低下。儘管存在這些缺點，使用暫存區域確實解決了大部分問題，例如不用強制執行重要屬性的錄入或在創建前不必進行徹底搜索。此外，由於我們並不受傳統應用程式或現代CRM或ERP應用程式如何處理數據錄入功能的影響，通過不對應對方法進行批量數據移動，我們還大大縮短了時間安排。

　　（2）用戶輸入直接傳送到多領域MDM系統中的數據：在外面輸入新記錄或更新，但是會立即傳送到MDM系統，以便自動整理、匹配和合併。異常或例外傳送到數據管理員的隊列，幾個管理員便可支持更多最終用戶。這是第一個主動方法的改進，因為我們利用MDM系統的業務規則、數據整理和匹配功能，只要求管理員查看作為整理、匹配和合併流程的例外而彈出的插入或更新。

　　（3）用戶使用特定於數據治理的前端輸入數據：第三個方法是允許最終用戶直接錄入到多領域MDM系統中，但是應使用專為主動數據治理方法而設計的前端。可專門為最終用戶數據錄入設定屏幕，您可利用功能齊全的MDM系統允許的自動化、數據整理、業務規則、搜索和匹配等所有功能。因此，不必首先將數據輸入到MDM系統的暫存區域中，並且您不需要系統外的單獨工作流應用程式。

　　（二）主動型治理

　　主動數據治理的第一個優勢是可在源頭獲得主數據。具有嚴格的“搜索後再創建”功能和強大的業務規則，確保關鍵欄位填充經過批准的值列表或依據第三方數據驗證過，新記錄的初始質量級別將非常高。

　　主數據管理工作通常著重於數據質量的“使它乾凈”或“保持它乾凈”方面。 如果MDM系統中的數據質量初始級別非常高，並且如果您不會通過從CRM或ERP源系統中傳入不精確、不完整或不一致的數據來連續污染系統，則主數據管理的“保持它乾凈”方面非常容易。　　

　　主動數據治理還可有效消除新主記錄的初始錄入和其認證以及通過中間件發佈到企業其餘領域之間的所有時間延遲。由用戶友好的前端支持的主動數據治理可將數據直接錄入到多領域 MDM 系統中，可應用所有典型的業務規則，以整理、匹配和合併數據。當初始數據錄入經過整理、匹配和合併流程後，此方法還允許數據管理員通過企業匯流排將更新發佈到組織的其它領域。

　　主動數據治理方法消除了“數據治理官僚化”這一認識，因為主數據的授權已推給上游的業務用戶，使數據管理員處於很少被打擾的角色，他們將不會成為諸如訂單管理或出具發票等關鍵業務流程的瓶頸。

　　以企業財務管理為例，會計負責管理企業的金融資產，遵守相關制度和規定，同時接受審計員的監督；審計員負責監管金融資產的管理活動。數據治理扮演的角色與審計員類似，其作用就是確保企業的數據資產得到正確有效的管理。

　　ITSS WG1認為數據治理包含以下幾方面內容:

　　（1）確保信息利益相關者的需要評估，以達成一致的企業目標，這些企業目標需要通過對信息資源的獲取和管理實現；

　　（2）確保有效助力業務的決策機制和方向；

　　（3）確保績效和合規進行監督。

　　確保企業數據的質量，可用性，可集成性，安全性和易用性。數據是公司的資產，組織必須從中獲取業務價值，最大程度地降低風險並尋求方法進一步開發和利用數據，而這一切就是數據治理需要完成的工作，數據治理一般來說主要包括以下三部分工作：

　　定義數據資產的具體職責和決策權，應用角色分配決策需要執行的確切任務的決策和規範活動。

　　為數據管理實踐制定企業範圍的原則，標準，規則和策略。數據的一致性，可信性和準確性對於確保增值決策至關重要。

　　建立必要的流程，以提供對數據的連續監視和控制實踐並幫助在不同組織職能部門之間執行與數據相關的決策，以及業務用戶類別。

　　從範圍來講，數據治理涵蓋了從前端事務處理系統、後端業務資料庫到終端的數據分析，從源頭到終端再回到源頭形成一個閉環負反饋系統（控制理論中趨穩的系統）。從目的來講，數據治理就是要對數據的獲取、處理、使用進行監管（監管就是我們在執行層面對信息系統的負反饋），而監管的職能主要通過以下五個方面的執行力來保證——發現、監督、控制、溝通、整合。

　　元數據管理：包括元數據採集、血緣分析、影響分析等功能；

　　數據標準管理：包括標准定義、標準查詢、標準發佈等功能；

　　數據質量管理：包括質量規則定義、質量檢查、質量報告等功能；

　　數據集成管理：包括數據處理、數據加工、數據彙集等功能；

　　數據資產管理：包括數據資產編目、數據資產服務、數據資產審批等功能；

　　數據安全管理：包括數據許可權管理、數據脫敏、數據加密等功能；

　　數據生命周期管理：包括數據歸檔、數據銷毀等功能；

　　主數據管理：包括主數據申請、主數據發佈、主數據分發等功能。

　　原則1：關鍵概念多方共識

　　關鍵概念若涉及多方，比如成交客戶的定義，要確保公司內部和客戶相關的所有業務人員理解一致。

　　原則2：某個類型的值經常發生變動，則需要冗餘一個通用欄位冗餘值

　　處理過數據的同學都知道，某個指標的實現可能和其它幾個關鍵指標相關，那麼該指標的異常排查就需要逐個檢查是哪個相關指標出問題了，查找到原因可能2，3天的時間就沒了，但如果事先開發人員冗餘了一個通用欄位代表該類消費指標，那麼後續不管業務人員上線多少個消費類型的任務，都不會對原來的指標產生影響。

　　原則3：每個實體都有唯一、不變的ID，最好沒有實際意義

　　一是為了實體的唯一性，二是為了表關聯或更新時不受業務的影響。

　　原則4：涉及協作的數據，發現問題要從修改源頭做起，保證下一次拿到正確的數據

　　協作的數據可以說是一個串聯的過程，源頭的數據會逐層影響下層的數據，不要為了一時方便，只修改目前發現問題的地方，要從修改源頭做起，方便他人即方便自己。

　　原則5：編寫操作清單，操作前請三思

　　數據間存在關聯，把數據間的關聯關係陳列清楚、註意事項標註清楚，操作前一一核對，小數據量驗證無錯後，大數據量執行。

　　原則6：系統工程的方法管理數據，儘可能使用系統，監控數據錯誤並及時修複

　　將使用數據的相關方都畫在一張系統迴圈圖中，觀察數據錯誤產生於系統哪個環節，如何影響後續各個環節，避免惡性迴圈的產生。

　　1、降低業務運營成本

　　有效的數據治理能夠降低企業IT和業務運營成本。一致性的數據環境讓系統應用集成、數據清理變得更加自動化，減少過程中的人工成本；標準化的數據定義讓業務部門之間的溝通保持順暢，降低由於數據不標準、定義不明確引發的各種溝通成本。

　　2、提升業務處理效率

　　有效的數據治理可以提高企業的運營效率。高質量的數據環境和高效的數據服務讓企業員工可以方便、及時地查詢到所需的數據，然後即可展開自己的工作，而無須在部門與部門之間進行協調、彙報等，從而有效提高工作效率。

　　3、改善數據質量

　　有效的數據治理對企業數據質量的提升是不言而喻的，數據質量的提升本就是數據治理的核心目的之一。高質量的數據有利於提升應用集成的效率和質量，提高數據分析的可信度，改善的數據質量意味著改善的產品和服務質量。數據質量直接影響品牌聲譽。

　　4、控制數據風險

　　有效的數據治理有利於建立基於知識圖譜的數據分析服務，例如360°客戶畫像、全息數據地圖、企業關係圖譜等，幫助企業實現供應鏈、投融資的風險控制。良好的數據可以幫助企業更好地管理公共領域的風險，如食品的來源風險、食品成分、製作方式等。企業擁有可靠的數據就意味著擁有了更好的風險控制和應對能力。

　　5、增強數據安全

　　有效的數據治理可以更好地保證數據的安全防護、敏感數據保護和數據的合規使用。通過數據梳理識別敏感數據，再通過實施相應的數據安全處理技術，例如數據加密/解密、數據脫敏/脫密、數據安全傳輸、數據訪問控制、數據分級授權等手段，實現數據的安全防護和使用合規。

　　6、 賦能管理決策

　　有效的數據治理有利於提升數據分析和預測的準確性，從而改善決策水平。良好的決策是基於經驗和事實的，不可靠的數據就意味著不可靠的決策。

　　1、組織

　　數據治理需要一種開放的企業文化，例如，可以實施組織變更，即使這僅意味著命名角色和分配職責。結果，數據治理成為一個政治問題，因為這最終意味著分配，授予和撤消責任與能力。這裡需要一種敏感的方法。

　　2、接受與溝通

　　數據治理需要通過合適的員工在正確的地方通過各方之間的有效通信來接受。項目經理尤其需要瞭解技術和業務方面的術語，術語，最好是公司的總體概念圖。

　　3、預算和利益相關者

　　通常仍然很難說服組織中的利益相關者對數據治理計劃的需求並獲得預算。另外，變更通常會因根深蒂固而受到阻礙，但是業務部門中不直接可見的資源可以彌補正常運行的過程和信息處理中的不足。

　　4、標準化和靈活性

　　企業需要靈活應對快速變化的需求。但是，至關重要的是，要根據每個公司的業務需求在靈活性和數據治理標準之間尋求適當的平衡。

• 數據管理