數據稽核

出自 MBA智库百科(https://wiki.mbalib.com/)

　　數據稽核是指實現數據的完整性和一致性檢查，提升數據質量，數據稽核是一個從數據採集，預處理，比對，分析，預警，通知，問題修複的完整數據質量管控鏈條。

　　數據稽核的整個流程，首先是數據的採集和適配，這個常見方式是通過ETL工具來完成，ETL工具採集到的數據做初步的數據清理和預處理。在這個步驟完成後根據預定義的數據稽核和校驗規則，對數據進行差異分析和異常分析，對於分析的結果，一方面是實時的預警和通知，一方面是根據預先定義的報表模版生產數據稽核統計報表。以上完全可以配置為一個自動化的流程，當然對於核心的業務對象或實體，我們還可以定義稽核的時間範圍，稽核的業務規則進行實時的數據比對工作。

　　數據稽核中跨系統數據比對的內容。數據比對本身是一個由粗到細的過程，首先是數據表級別的比較，但是這個往往並不需要；然後是數據表中記錄層級的數據比較，A系統同步了一條數據到B系統，是否正常成功同步到，首先要比對的就是兩個數據表的key值關聯是否存在。行記錄級別比較完成後是欄位級別的數據比對工作，欄位級的比對分為兩個層面，一個是數據表表結構和欄位結構元數據的一致性，如相同的表兩邊欄位數量不一致，相同的欄位的欄位類型或長度不一致等；其次是欄位內數據和內容的一致性比對。還有些數據稽核工具會提供數據參考完整性和通用性業務規則校驗的功能，但是這個不是數據稽核的重點，更多還是應該是業務系統自身去做好參照完整性控制工作。

　　數據稽核應該是一個高度可靈活配置的產品平臺，其中包括了稽核流程可以配置，ETL和元數據定義，欄位映射可配置；數據稽核規則可配置，報表模版可以預定義和配置；預警和通知規則和配置。有了這些靈活的可配置能力後，數據稽核平臺基本就可以應用到很多類似數據稽核和比對的場景中。