数据中台
出自 MBA智库百科(https://wiki.mbalib.com/)
目录 |
数据中台是一种数据管理体系，在企业中是独立的部门，为数据挖掘而建，最重要的目标是支持各部门业务数据和提供计算服务。数据中台的本质就是“数据仓库+数据服务中间件”。
数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。
数据中台要做四个方面的工作分别是“采集”、“存储”、“打通”、“使用”。采集就是要采集各条业务线的业务数据、日志数据、用户行为数据等有用的数据。
存储就是要用更加科学的方式存储数据，一般采用三层建模的方式，让收集上来的数据形成公司的数据资产。打通就是要打通用户的行为数据和用户的业务数据，如电商用户的浏览、点击行为和用户的支付业务数据，就要做到打通。使用就是就打通的数据赋能业务人员、领导层进行决策，做到数据反哺业务。
数据中台的核心能力[1]
数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现４个核心能力，让企业员工、客户、伙伴能够方便地应用数据。
数据丰富和完善：多样的数据源进行合并和完善
管理易用：可视化任务配置、丰富的监控管理功能
- 数据集成运营：数据接入、转换、写入或缓存内部来源的各来源数据
- 数据目录与治理：用户可以方便定位所需数据，理解数据（技术/业务治理）
- 数据安全：确保数据的访问权限
- 数据可用：用户可简便、可扩展的访问异构数据，可用性和易用性高
2、提纯加工（数据资产化——数据提炼与分析加工能力）
完善的安全访问控制
完善的数据质量保障体系
规范的、紧密结合业务的可扩展的标签体系
面向业务主题的资产平台
智能的数据映射能力，简化数据资产生成
3、服务可视化（数据资产服务化能力）
提供自然语言等人工智能服务
提供丰富的数据分析功能
提供友好的数据可视化服务
便捷、快速的服务开发环境，方便业务人员开发数据应用
提供实时流数据分析
4、价值变现
提供数据应用的管理能力
提供数据洞察直接驱动业务行动的通路
提供跨行业务场景的能力
提供跨部门的普适性业务价值能力
提供基于场景的数据应用
提供业务行动效果评估功能
数据中台优点[1]
业务价值（业务创新，形成核心壁垒）
1、以客户为中心，用洞察驱动企业稳健行动
2、以数据为基础，直系大规模商业模式创新
3、盘活全量数据，构筑坚实壁垒已持续领先
技术价值（成本低、能力多、应用广）
1、应对多数据处理的需求
2、丰富标签数据，减低管理成本
3、数据价值能体现业务系统效果而不仅是准确度
4、支持跨主题域访问数据
5、数据可以快速复用、不仅是复制
数据中台和数据平台的关系[2]
其实，数据中台与大数据平台最本质的区别在于数据中台是具备业务属性的，输入的是原始数据，输出的是指标。
如果我们把数据中台看作是一个汽车工厂，那大数据平台就是工厂中的设备，Hadoop 集群则是工厂运作所必须的水、电、煤。
Hadoop提供的是大数据生产所必须的计算和存储资源，大数据平台使得数据开发人员具备了对数据的加工和处理能力，但还不能提供产品，这么多的原始数据，要按照一定的方法论，进行良好的组织，加工，才能生成最终的指标。
数据中台构成[3]
“数据中台”一般包含以下几个部分：
数据仓库：用来存储数据的，结构性数据、非结构性数据等，还有离线数据和实时数据等；
大数据中间件：包含了大数据计算服务、大数据研发套件、数据分析及展现工具；
数据资产管理：按照阿里的体系应该分为垂直数据、公共数据和萃取数据3层；
如何建立数据中台[4]
建设数据中台主要就是从数据模型、数据资产、数据治理、数据服务四部分出发。
首先需要做整体规划，哪些数据需要纳入到数据中台中，根据数据接入的情况，进行技术选型，评估集群的配置，规划至少3年的计算和存储资源。
1、数据模型
数据模型，就是我们熟悉的数据仓库中的模型，按照数据仓库规范分层开发模型，实现数据的标准化，多采用维度建模。还有一些挖掘模型，如果用的多了，也可以沉淀到数据中台中。我们可以看出数据中台中的模型具有通用性。
数据建模一般分为2个步骤：
确认事实表，分析业务的生命周期，明确业务的关键步骤。在进行指标定义的时候是否覆盖了本主题语中的全部指标，判断哪些指标可以通过加减乘除计算得到等。
确定维度，粒度是模型设计的关键，太细的粒度不利于上层数据分析汇总，太粗的粒度又不能满足前段多维度个性化查询需求。基于此，模型设计时候一般考虑分层，层级越往后，粒度越粗。冗余维度也是需要考虑的，设计冗余的维度可以避免统计中过多的关联导致复杂的计算逻辑，影响性能。
2、数据资产
在数据仓库中我们已经建立了一些模型，但是只有打通数据孤岛后才可以称为资产。需要规范指标库，这些指标可以组合处理满足外部人员个性化的指标需求。资产管理的基础是做好元数据管理，元数据包括采集的接口信息，模型信息、指标定义，作业的血缘关系、数据存储以及访问情况等。
3、数据治理
很多数据仓库人员曾沦为“表哥”，天天忙着提取数据核对指标，时间长了，业务人员容易对你的数据不信任。数据治理主要是为了保障数据资产的完整性、准确性、一致性、及时性。根据指定的规范开发模型、校验模型、管理模型，为业务提供统一的、准确的指标保驾护航。
4、数据服务
数据中台最重要的就是要对外提供统一的服务能力。数据服务需要包含以下几个能力：
数据接口标准化：提供统一的数据服务在线查询视图，让开发者能够快速、简单的访问数据服务；
数据开发可视化：提供服务接口的可视化配置，开发者只需要配置SQL就可以生产API，减低接口开发技术要求，便于维护和接口管理。对于业务分析人员可以让他们轻松的进行算法分析，包括模型管理、可视化编排流程，算法模型发布等功能。
企业该如何真正做到以“消费者”为中心，帮助消费者在购物中享受绝佳体验？答案是：掌握数字化运营手段。这其中，数据中台则成为新零售数字化转型的关键所在。众所周知，数据中台的本质是共享数据能力、避免重复造“轮子”、并对数据能力抽象。那么如何利用数据中台，全面、准确、及时的掌握各项数据需求，并能够利用数据驱动指导切实的零售业务呢？
第一，提供企业内部管理的数据需求。过去传统的进销存表单、传统备货计划，都将被数据中台这条智慧总线所打破，按照新零售企业内部神经网络图的形式，进行综合的汇总、分析和关联，并将所需的海量数据在数据中台进行汇总，这也使得企业内部的管理可以摆脱较重的人员水平因素的制约，使得企业内部管理工作简单化、透明化，管理及决策也更加精准和高效，助力企业更好地驾驭新零售业态。
第二，市场行业的数据需求。对于行业动态、市场趋势以及用户的研究，是新零售行业发展的重点。在新零售的前段流程和环节中，通过设置相关环节、措施、节点和服务内容，数据中台可以更加实时便捷地收集行业的动态数据、市场趋势与变化，并对各类数据进行深入的分析和研究，其得到的观点和视野将不同于第三方报告。
第三，在新零售的市场营销环节，企业可以通过数据中台更加方便地获取用户数据，并进行如标签、建模等一系列加工分析，从而达到精准定位推送、精准营销，乃至“千人千面”的效果。
第四，数据互通，打破信息孤岛。打破多渠道、多系统数据互相割裂，以及会员权益信息不互通的窘境，利用数据中台，完成全渠道、多系统之间的信息互通，构建统一的用户体系。并通过系统自动分配权益及触发，从而为用户提供更好的体验，同时增加了品牌的粉丝粘性。
第五，服务提升需求。有别于过去以用户属性、消费金额和商品类型等简单的画像处理，企业可以通过数据中台，对用户人群进行更加精准的360度画像，并对用户在消费上升趋势和走向中进行分类和判别，进而满足和引导消费者消费升级的内在需求。除此之外，智能优化供应链仓储布局、配送网络，可靠近客户满足快速送达需求，也能够增加用户良好的体验感。
第六，创新需求，探索智能的管理服务，利用人工智能与大数据技术，通过数据中台开发出更多智能化的新零售应用途径与方法。例如，通过数据间的关联关系进行组合和优化带来的创新，通过数据对于用户和未来趋势进行把握的创新，在营销方式、服务提升层面的创新等等。
如此一来，消费者在购物时，不仅可以精准地接收到商品推荐而免受打扰，更能快速购买到自己心仪的商品，同时可以享受快速配送，解决无限等待的烦恼。总结来看，数据中台所提供的三大服务应该包括，避免重复造轮子的创新方法，让资源得以复用、站在全企业视角提供全局的数据能力以及为数据使用者提供更细微的颗粒度，这些都会为数字化浪潮下的企业提供十足的火力。
