數據中台
出自 MBA智库百科(https://wiki.mbalib.com/)
目錄 |
數據中台是一種數據管理體系，在企業中是獨立的部門，為數據挖掘而建，最重要的目標是支持各部門業務數據和提供計算服務。數據中台的本質就是“數據倉庫+數據服務中間件”。
數據中台是一套可持續“讓企業的數據用起來”的機制，一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方法論支撐，構建一套持續不斷把數據變成資產並服務於業務的機制。
數據中台要做四個方面的工作分別是“採集”、“存儲”、“打通”、“使用”。採集就是要採集各條業務線的業務數據、日誌數據、用戶行為數據等有用的數據。
存儲就是要用更加科學的方式存儲數據，一般採用三層建模的方式，讓收集上來的數據形成公司的數據資產。打通就是要打通用戶的行為數據和用戶的業務數據，如電商用戶的瀏覽、點擊行為和用戶的支付業務數據，就要做到打通。使用就是就打通的數據賦能業務人員、領導層進行決策，做到數據反哺業務。
數據中台的核心能力[1]
數據中台需要具備數據匯聚整合、數據提純加工、數據服務可視化、數據價值變現４個核心能力，讓企業員工、客戶、伙伴能夠方便地應用數據。
數據豐富和完善：多樣的數據源進行合併和完善
管理易用：可視化任務配置、豐富的監控管理功能
- 數據集成運營：數據接入、轉換、寫入或緩存內部來源的各來源數據
- 數據目錄與治理：用戶可以方便定位所需數據，理解數據（技術/業務治理）
- 數據安全：確保數據的訪問許可權
- 數據可用：用戶可簡便、可擴展的訪問異構數據，可用性和易用性高
2、提純加工（數據資產化——數據提煉與分析加工能力）
完善的安全訪問控制
完善的數據質量保障體系
規範的、緊密結合業務的可擴展的標簽體系
面向業務主題的資產平臺
智能的數據映射能力，簡化數據資產生成
3、服務可視化（數據資產服務化能力）
提供自然語言等人工智慧服務
提供豐富的數據分析功能
提供友好的數據可視化服務
便捷、快速的服務開發環境，方便業務人員開發數據應用
提供實時流數據分析
4、價值變現
提供數據應用的管理能力
提供數據洞察直接驅動業務行動的通路
提供跨行業務場景的能力
提供跨部門的普適性業務價值能力
提供基於場景的數據應用
提供業務行動效果評估功能
數據中台優點[1]
業務價值（業務創新，形成核心壁壘）
1、以客戶為中心，用洞察驅動企業穩健行動
2、以數據為基礎，直系大規模商業模式創新
3、盤活全量數據，構築堅實壁壘已持續領先
技術價值（成本低、能力多、應用廣）
1、應對多數據處理的需求
2、豐富標簽數據，減低管理成本
3、數據價值能體現業務系統效果而不僅是準確度
4、支持跨主題域訪問數據
5、數據可以快速復用、不僅是複製
數據中台和數據平臺的關係[2]
其實，數據中台與大數據平臺最本質的區別在於數據中台是具備業務屬性的，輸入的是原始數據，輸出的是指標。
如果我們把數據中台看作是一個汽車工廠，那大數據平臺就是工廠中的設備，Hadoop 集群則是工廠運作所必須的水、電、煤。
Hadoop提供的是大數據生產所必須的計算和存儲資源，大數據平臺使得數據開發人員具備了對數據的加工和處理能力，但還不能提供產品，這麼多的原始數據，要按照一定的方法論，進行良好的組織，加工，才能生成最終的指標。
數據中台構成[3]
“數據中台”一般包含以下幾個部分：
數據倉庫：用來存儲數據的，結構性數據、非結構性數據等，還有離線數據和實時數據等；
大數據中間件：包含了大數據計算服務、大數據研發套件、數據分析及展現工具；
數據資產管理：按照阿裡的體系應該分為垂直數據、公共數據和萃取數據3層；
如何建立數據中台[4]
建設數據中台主要就是從數據模型、數據資產、數據治理、數據服務四部分出發。
首先需要做整體規劃，哪些數據需要納入到數據中臺中，根據數據接入的情況，進行技術選型，評估集群的配置，規劃至少3年的計算和存儲資源。
1、數據模型
數據模型，就是我們熟悉的數據倉庫中的模型，按照數據倉庫規範分層開發模型，實現數據的標準化，多採用維度建模。還有一些挖掘模型，如果用的多了，也可以沉澱到數據中臺中。我們可以看出數據中臺中的模型具有通用性。
數據建模一般分為2個步驟：
確認事實表，分析業務的生命周期，明確業務的關鍵步驟。在進行指標定義的時候是否覆蓋了本主題語中的全部指標，判斷哪些指標可以通過加減乘除計算得到等。
確定維度，粒度是模型設計的關鍵，太細的粒度不利於上層數據分析彙總，太粗的粒度又不能滿足前段多維度個性化查詢需求。基於此，模型設計時候一般考慮分層，層級越往後，粒度越粗。冗餘維度也是需要考慮的，設計冗餘的維度可以避免統計中過多的關聯導致複雜的計算邏輯，影響性能。
2、數據資產
在數據倉庫中我們已經建立了一些模型，但是只有打通數據孤島後才可以稱為資產。需要規範指標庫，這些指標可以組合處理滿足外部人員個性化的指標需求。資產管理的基礎是做好元數據管理，元數據包括採集的介面信息，模型信息、指標定義，作業的血緣關係、數據存儲以及訪問情況等。
3、數據治理
很多數據倉庫人員曾淪為“表哥”，天天忙著提取數據核對指標，時間長了，業務人員容易對你的數據不信任。數據治理主要是為了保障數據資產的完整性、準確性、一致性、及時性。根據指定的規範開發模型、校驗模型、管理模型，為業務提供統一的、準確的指標保駕護航。
4、數據服務
數據中台最重要的就是要對外提供統一的服務能力。數據服務需要包含以下幾個能力：
數據介面標準化：提供統一的數據服務線上查詢視圖，讓開發者能夠快速、簡單的訪問數據服務；
數據開發可視化：提供服務介面的可視化配置，開發者只需要配置SQL就可以生產API，減低介面開發技術要求，便於維護和介面管理。對於業務分析人員可以讓他們輕鬆的進行演算法分析，包括模型管理、可視化編排流程，演算法模型發佈等功能。
企業該如何真正做到以“消費者”為中心，幫助消費者在購物中享受絕佳體驗？答案是：掌握數字化運營手段。這其中，數據中台則成為新零售數字化轉型的關鍵所在。眾所周知，數據中台的本質是共用數據能力、避免重覆造“輪子”、並對數據能力抽象。那麼如何利用數據中台，全面、準確、及時的掌握各項數據需求，並能夠利用數據驅動指導切實的零售業務呢？
第一，提供企業內部管理的數據需求。過去傳統的進銷存表單、傳統備貨計劃，都將被數據中台這條智慧匯流排所打破，按照新零售企業內部神經網路圖的形式，進行綜合的彙總、分析和關聯，並將所需的海量數據在數據中台進行彙總，這也使得企業內部的管理可以擺脫較重的人員水平因素的制約，使得企業內部管理工作簡單化、透明化，管理及決策也更加精準和高效，助力企業更好地駕馭新零售業態。
第二，市場行業的數據需求。對於行業動態、市場趨勢以及用戶的研究，是新零售行業發展的重點。在新零售的前段流程和環節中，通過設置相關環節、措施、節點和服務內容，數據中台可以更加實時便捷地收集行業的動態數據、市場趨勢與變化，並對各類數據進行深入的分析和研究，其得到的觀點和視野將不同於第三方報告。
第三，在新零售的市場營銷環節，企業可以通過數據中台更加方便地獲取用戶數據，併進行如標簽、建模等一系列加工分析，從而達到精準定位推送、精準營銷，乃至“千人千面”的效果。
第四，數據互通，打破信息孤島。打破多渠道、多系統數據互相割裂，以及會員權益信息不互通的窘境，利用數據中台，完成全渠道、多系統之間的信息互通，構建統一的用戶體系。並通過系統自動分配權益及觸發，從而為用戶提供更好的體驗，同時增加了品牌的粉絲粘性。
第五，服務提升需求。有別於過去以用戶屬性、消費金額和商品類型等簡單的畫像處理，企業可以通過數據中台，對用戶人群進行更加精準的360度畫像，並對用戶在消費上升趨勢和走向中進行分類和判別，進而滿足和引導消費者消費升級的內在需求。除此之外，智能優化供應鏈倉儲佈局、配送網路，可靠近客戶滿足快速送達需求，也能夠增加用戶良好的體驗感。
第六，創新需求，探索智能的管理服務，利用人工智慧與大數據技術，通過數據中台開發出更多智能化的新零售應用途徑與方法。例如，通過數據間的關聯關係進行組合和優化帶來的創新，通過數據對於用戶和未來趨勢進行把握的創新，在營銷方式、服務提升層面的創新等等。
如此一來，消費者在購物時，不僅可以精準地接收到商品推薦而免受打擾，更能快速購買到自己心儀的商品，同時可以享受快速配送，解決無限等待的煩惱。總結來看，數據中台所提供的三大服務應該包括，避免重覆造輪子的創新方法，讓資源得以復用、站在全企業視角提供全局的數據能力以及為數據使用者提供更細微的顆粒度，這些都會為數字化浪潮下的企業提供十足的火力。
