数据治理

出自 MBA智库百科(https://wiki.mbalib.com/)

数据治理（Data Governance）

　　数据治理（Data Governance）是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。

　　国际数据管理协会（DAMA）给出的定义：数据治理是对数据资产管理行使权力和控制的活动集合。

　　国际数据治理研究所（DGI）给出的定义：数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统，这些过程按照达成共识的模型来执行，该模型描述了谁（Who）能根据什么信息，在什么时间（When）和情况（Where）下，用什么方法（How），采取什么行动（What）。

　　数据治理的最终目标是提升数据的价值，数据治理非常必要，是企业实现数字战略的基础，它是一个管理体系，包括组织、制度、流程、工具。

　　“数据治理”的概念最早可以追溯到2004年，由H. Watson首先提出。H. Watson研究了数据仓库治理在企业管理中的实践，由此拉开了数据治理研究的帷幕。在早期阶段，数据治理被广泛用于企业管理领域，Otto认为数据治理是“组织中与数据相关事务的决策权及相关职责的分配。^[1]

　　（一）应对型治理

　　应对型数据治理是指通过客户关系管理（CRM）等“前台”应用程序和诸如 企业资源规划（ERP）等“后台”应用程序授权主数据，例如客户、产品、供应商、员工等。然后，数据移动工具将最新的或更新的主数据移动到多领域MDM系统中。它整理、匹配和合并数据，以创建或更新“黄金记录”，然后同步回原始系统、其它企业应用程序以及数据仓库或商业智能分析系统。

　　1、缺点：

　　批量集成和应对型数据治理方法引入的时间延迟可能导致业务部门继续操作重复、不完整且不精确的主数据。因此，这会降低多领域MDM方案实现在正确的时间向正确的人员提供正确数据这一预期业务目标的能力。在期望被设定为数据将变得干净、精确且及时之后，批量集成引入的时间延迟让人感到沮丧。应对型数据治理（下游数据管理员小组负责整理、去重复、纠正和完成关键主数据）可能导致让人认为“数据治理官僚化”。

　　应对型数据治理还会导致最终用户将数据管理团队看作“数据质量警察”，并产生相应的官僚化和延迟以及主数据仍然不干净的负面认识。这还将使得MDM方案更难实现它的所有预期优势，并可能导致更高的数据管理总成本。此方法的风险是组织可能以“两个领域中的最差”而告终，至少部分上如此–—已在MDM方案中投资，但是只能实现一些潜在优势，即在整个企业内获得干净、精确、及时以及一致的主数据。

　　2、改进方法：

　　有三个方法可超越应对型数据治理。

　　（1）用户将数据直接输入到多领域MDM系统中：用户使用界面友好的前端将数据直接输入到多领域MDM系统中，但是他们的新记录和现有记录的更新留在暂存区域或保留区域，直到数据管理员审核和认证为止。这之后MDM系统才接受插入或更新，以便进行完整的整理、匹配、合并，并将“最佳记录”发布到企业的所有其他应用程序。此方法好过将一个完全不同的应用程序（例如CRM或ERP系统）作为“录入系统”，但是它仍然会出现延迟和效率低下。尽管存在这些缺点，使用暂存区域确实解决了大部分问题，例如不用强制执行重要属性的录入或在创建前不必进行彻底搜索。此外，由于我们并不受传统应用程序或现代CRM或ERP应用程序如何处理数据录入功能的影响，通过不对应对方法进行批量数据移动，我们还大大缩短了时间安排。

　　（2）用户输入直接传送到多领域MDM系统中的数据：在外面输入新记录或更新，但是会立即传送到MDM系统，以便自动整理、匹配和合并。异常或例外传送到数据管理员的队列，几个管理员便可支持更多最终用户。这是第一个主动方法的改进，因为我们利用MDM系统的业务规则、数据整理和匹配功能，只要求管理员查看作为整理、匹配和合并流程的例外而弹出的插入或更新。

　　（3）用户使用特定于数据治理的前端输入数据：第三个方法是允许最终用户直接录入到多领域MDM系统中，但是应使用专为主动数据治理方法而设计的前端。可专门为最终用户数据录入设定屏幕，您可利用功能齐全的MDM系统允许的自动化、数据整理、业务规则、搜索和匹配等所有功能。因此，不必首先将数据输入到MDM系统的暂存区域中，并且您不需要系统外的单独工作流应用程序。

　　（二）主动型治理

　　主动数据治理的第一个优势是可在源头获得主数据。具有严格的“搜索后再创建”功能和强大的业务规则，确保关键字段填充经过批准的值列表或依据第三方数据验证过，新记录的初始质量级别将非常高。

　　主数据管理工作通常着重于数据质量的“使它干净”或“保持它干净”方面。 如果MDM系统中的数据质量初始级别非常高，并且如果您不会通过从CRM或ERP源系统中传入不精确、不完整或不一致的数据来连续污染系统，则主数据管理的“保持它干净”方面非常容易。　　

　　主动数据治理还可有效消除新主记录的初始录入和其认证以及通过中间件发布到企业其余领域之间的所有时间延迟。由用户友好的前端支持的主动数据治理可将数据直接录入到多领域 MDM 系统中，可应用所有典型的业务规则，以整理、匹配和合并数据。当初始数据录入经过整理、匹配和合并流程后，此方法还允许数据管理员通过企业总线将更新发布到组织的其它领域。

　　主动数据治理方法消除了“数据治理官僚化”这一认识，因为主数据的授权已推给上游的业务用户，使数据管理员处于很少被打扰的角色，他们将不会成为诸如订单管理或出具发票等关键业务流程的瓶颈。

　　以企业财务管理为例，会计负责管理企业的金融资产，遵守相关制度和规定，同时接受审计员的监督；审计员负责监管金融资产的管理活动。数据治理扮演的角色与审计员类似，其作用就是确保企业的数据资产得到正确有效的管理。

　　ITSS WG1认为数据治理包含以下几方面内容:

　　（1）确保信息利益相关者的需要评估，以达成一致的企业目标，这些企业目标需要通过对信息资源的获取和管理实现；

　　（2）确保有效助力业务的决策机制和方向；

　　（3）确保绩效和合规进行监督。

　　确保企业数据的质量，可用性，可集成性，安全性和易用性。数据是公司的资产，组织必须从中获取业务价值，最大程度地降低风险并寻求方法进一步开发和利用数据，而这一切就是数据治理需要完成的工作，数据治理一般来说主要包括以下三部分工作：

　　定义数据资产的具体职责和决策权，应用角色分配决策需要执行的确切任务的决策和规范活动。

　　为数据管理实践制定企业范围的原则，标准，规则和策略。数据的一致性，可信性和准确性对于确保增值决策至关重要。

　　建立必要的流程，以提供对数据的连续监视和控制实践并帮助在不同组织职能部门之间执行与数据相关的决策，以及业务用户类别。

　　从范围来讲，数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析，从源头到终端再回到源头形成一个闭环负反馈系统（控制理论中趋稳的系统）。从目的来讲，数据治理就是要对数据的获取、处理、使用进行监管（监管就是我们在执行层面对信息系统的负反馈），而监管的职能主要通过以下五个方面的执行力来保证——发现、监督、控制、沟通、整合。

　　元数据管理：包括元数据采集、血缘分析、影响分析等功能；

　　数据标准管理：包括标准定义、标准查询、标准发布等功能；

　　数据质量管理：包括质量规则定义、质量检查、质量报告等功能；

　　数据集成管理：包括数据处理、数据加工、数据汇集等功能；

　　数据资产管理：包括数据资产编目、数据资产服务、数据资产审批等功能；

　　数据安全管理：包括数据权限管理、数据脱敏、数据加密等功能；

　　数据生命周期管理：包括数据归档、数据销毁等功能；

　　主数据管理：包括主数据申请、主数据发布、主数据分发等功能。

　　原则1：关键概念多方共识

　　关键概念若涉及多方，比如成交客户的定义，要确保公司内部和客户相关的所有业务人员理解一致。

　　原则2：某个类型的值经常发生变动，则需要冗余一个通用字段冗余值

　　处理过数据的同学都知道，某个指标的实现可能和其它几个关键指标相关，那么该指标的异常排查就需要逐个检查是哪个相关指标出问题了，查找到原因可能2，3天的时间就没了，但如果事先开发人员冗余了一个通用字段代表该类消费指标，那么后续不管业务人员上线多少个消费类型的任务，都不会对原来的指标产生影响。

　　原则3：每个实体都有唯一、不变的ID，最好没有实际意义

　　一是为了实体的唯一性，二是为了表关联或更新时不受业务的影响。

　　原则4：涉及协作的数据，发现问题要从修改源头做起，保证下一次拿到正确的数据

　　协作的数据可以说是一个串联的过程，源头的数据会逐层影响下层的数据，不要为了一时方便，只修改目前发现问题的地方，要从修改源头做起，方便他人即方便自己。

　　原则5：编写操作清单，操作前请三思

　　数据间存在关联，把数据间的关联关系陈列清楚、注意事项标注清楚，操作前一一核对，小数据量验证无错后，大数据量执行。

　　原则6：系统工程的方法管理数据，尽可能使用系统，监控数据错误并及时修复

　　将使用数据的相关方都画在一张系统循环图中，观察数据错误产生于系统哪个环节，如何影响后续各个环节，避免恶性循环的产生。

　　1、降低业务运营成本

　　有效的数据治理能够降低企业IT和业务运营成本。一致性的数据环境让系统应用集成、数据清理变得更加自动化，减少过程中的人工成本；标准化的数据定义让业务部门之间的沟通保持顺畅，降低由于数据不标准、定义不明确引发的各种沟通成本。

　　2、提升业务处理效率

　　有效的数据治理可以提高企业的运营效率。高质量的数据环境和高效的数据服务让企业员工可以方便、及时地查询到所需的数据，然后即可展开自己的工作，而无须在部门与部门之间进行协调、汇报等，从而有效提高工作效率。

　　3、改善数据质量

　　有效的数据治理对企业数据质量的提升是不言而喻的，数据质量的提升本就是数据治理的核心目的之一。高质量的数据有利于提升应用集成的效率和质量，提高数据分析的可信度，改善的数据质量意味着改善的产品和服务质量。数据质量直接影响品牌声誉。

　　4、控制数据风险

　　有效的数据治理有利于建立基于知识图谱的数据分析服务，例如360°客户画像、全息数据地图、企业关系图谱等，帮助企业实现供应链、投融资的风险控制。良好的数据可以帮助企业更好地管理公共领域的风险，如食品的来源风险、食品成分、制作方式等。企业拥有可靠的数据就意味着拥有了更好的风险控制和应对能力。

　　5、增强数据安全

　　有效的数据治理可以更好地保证数据的安全防护、敏感数据保护和数据的合规使用。通过数据梳理识别敏感数据，再通过实施相应的数据安全处理技术，例如数据加密/解密、数据脱敏/脱密、数据安全传输、数据访问控制、数据分级授权等手段，实现数据的安全防护和使用合规。

　　6、 赋能管理决策

　　有效的数据治理有利于提升数据分析和预测的准确性，从而改善决策水平。良好的决策是基于经验和事实的，不可靠的数据就意味着不可靠的决策。

　　1、组织

　　数据治理需要一种开放的企业文化，例如，可以实施组织变更，即使这仅意味着命名角色和分配职责。结果，数据治理成为一个政治问题，因为这最终意味着分配，授予和撤消责任与能力。这里需要一种敏感的方法。

　　2、接受与沟通

　　数据治理需要通过合适的员工在正确的地方通过各方之间的有效通信来接受。项目经理尤其需要了解技术和业务方面的术语，术语，最好是公司的总体概念图。

　　3、预算和利益相关者

　　通常仍然很难说服组织中的利益相关者对数据治理计划的需求并获得预算。另外，变更通常会因根深蒂固而受到阻碍，但是业务部门中不直接可见的资源可以弥补正常运行的过程和信息处理中的不足。

　　4、标准化和灵活性

　　企业需要灵活应对快速变化的需求。但是，至关重要的是，要根据每个公司的业务需求在灵活性和数据治理标准之间寻求适当的平衡。

• 数据管理