數據分析

出自 MBA智库百科(https://wiki.mbalib.com/)

數據分析（Data Analysis）

　　數據分析是指通過建立審計分析模型對數據進行核對、檢查、復算、判斷等操作，將被審計單位數據的現實狀態與理想狀態進行比較，從而發現審計線索，搜集審計證據的過程。

·審計是對資料作出證據搜集及分析，以評估企業財務狀況，然後就資料及一般公認準則之間的相關程度作出結論及報告。進行審計的人員必需有獨立性及具相關專業知識。

　　數據分析的目的是把隱沒在一大批看來雜亂無章的數據中的信息集中、萃取和提煉出來，以找出所研究對象的內在規律。

　　在實用中，數據分析可幫助人們作出判斷，以便採取適當行動。數據分析是組織有目的地收集數據、分析數據，使之成為信息的過程。這一過程是質量管理體系的支持過程。在產品的整個壽命周期，包括從市場調研到售後服務和最終處置的各個過程都需要適當運用數據分析過程，以提升有效性。例如J.開普勒通過分析行星角位置的觀測數據，找出了行星運動規律。又如，一個企業的領導人要通過市場調查，分析所得數據以判定市場動向，從而制定合適的生產及銷售計劃。因此數據分析有極廣泛的應用範圍。

數據分析主要包含下麵幾個功能：

　　1. 簡單數學運算（Simple Math）

　　2. 統計（Statistics）

　　3. 快速傅里葉變換（FFT）

　　4. 平滑和濾波（Smoothing and Filtering）

　　5. 基線和峰值分析(Baseline and Peak Analysis)

　　在統計學領域，有些人將數據分析劃分為描述性統計分析、探索性數據分析以及驗證性數據分析；其中，探索性數據分析側重於在數據之中發現新的特征，而驗證性數據分析則側重於已有假設的證實或證偽。

• 探索性數據分析：是指為了形成值得假設的檢驗而對數據進行分析的一種方法，是對傳統統計學假設檢驗手段的補充。該方法由美國著名統計學家約翰·圖基(John Tukey)命名。

• 定性數據分析：又稱為“定性資料分析”、“定性研究”或者“質性研究資料分析”，是指對諸如詞語、照片、觀察結果之類的非數值型數據（或者說資料）的分析。

數據分析有極廣泛的應用範圍。典型的數據分析可能包含以下三個步：

• 1、探索性數據分析，當數據剛取得時，可能雜亂無章，看不出規律，通過作圖、造表、用各種形式的方程擬合，計算某些特征量等手段探索規律性的可能形式，即往什麼方向和用何種方式去尋找和揭示隱含在數據中的規律性。
• 2、模型選定分析，在探索性分析的基礎上提出一類或幾類可能的模型，然後通過進一步的分析從中挑選一定的模型。
• 3、推斷分析，通常使用數理統計方法對所定模型或估計的可靠程度和精確程度作出推斷。

數據分析過程實施

　　數據分析過程的主要活動由識別信息需求、收集數據、分析數據、評價並改進數據分析的有效性組成。

　　一、識別信息需求

　　識別信息需求是確保數據分析過程有效性的首要條件，可以為收集數據、分析數據提供清晰的目標。識別信息需求是管理者的職責管理者應根據決策和過程式控制制的需求，提出對信息的需求。就過程式控制制而言，管理者應識別需求要利用那些信息支持評審過程輸入、過程輸出、資源配置的合理性、過程活動的優化方案和過程異常變異的發現。

　　二、收集數據

　　有目的的收集數據，是確保數據分析過程有效的基礎。組織需要對收集數據的內容、渠道、方法進行策劃。策劃時應考慮：

• ①將識別的需求轉化為具體的要求，如評價供方時，需要收集的數據可能包括其過程能力、測量系統不確定度等相關數據；
• ②明確由誰在何時何處，通過何種渠道和方法收集數據；
• ③記錄表應便於使用；
• ④採取有效措施，防止數據丟失和虛假數據對系統的干擾。

　　三、分析數據

　　分析數據是將收集的數據通過加工、整理和分析、使其轉化為信息，通常用方法有：

• 老七種工具，即排列圖、因果圖、分層法、調查表、散步圖、直方圖、控製圖；
• 新七種工具，即關聯圖、系統圖、矩陣圖、KJ法、計劃評審技術、PDPC法、矩陣數據圖；

　　四、數據分析過程的改進

　　數據分析是質量管理體系的基礎。組織的管理者應在適當時，通過對以下問題的分析，評估其有效性：

• ①提供決策的信息是否充分、可信，是否存在因信息不足、失準、滯後而導致決策失誤的問題；
• ②信息對持續改進質量管理體系、過程、產品所發揮的作用是否與期望值一致，是否在產品實現過程中有效運用數據分析；
• ③收集數據的目的是否明確，收集的數據是否真實和充分，信息渠道是否暢通；
• ④數據分析方法是否合理，是否將風險控制在可接受的範圍；
• ⑤數據分析所需資源是否得到保障。

　　1、提出問題：首先應清晰，我們解決的問題是什麼？

　　2、做出假設：在此問題基礎上，我們預先的假設是什麼？

　　3、數據採集：根據這個假設，開始採集數據。

　　4、數據處理：對收集到的原始數據進行加工，包括數據的清洗、分組、檢索、抽取等處理方法。

　　5、數據分析：數據整理完之後，需要對數據進行綜合、交叉分析。

　　6、結果呈現：可視化數據，得出具體的結論性資料。

　　採用的分析方法如下：

　　1．描述性統計分析

　　包括樣本基本資料的描述，作各變數的次數分配及百分比分析，以瞭解樣本的分佈情況。此外，以平均數和標準差來描述市場導向、競爭優勢、組織績效等各個構面，以瞭解樣本企業的管理人員對這些相關變數的感知，並利用t檢驗及相關分析對背景變數所造成的影響做檢驗。

　　2．Cronbach’a信度繫數分析

　　信度是指測驗結果的一致性、穩定性及可靠性，一般多以內部一致性(consistency)來加以表示該測驗信度的高低。信度繫數愈高即表示該測驗的結果愈一致、穩定與可靠。針對各研究變數的衡量題項進行Cronbach’a信度分析，以瞭解衡量構面的內部一致性。一般來說，Cronbach’a僅大於0．7為高信度，低於0．35為低信度(Cuieford，1965)，0．5為最低可以接受的信度水準(Nunnally，1978)。

　　3．探索性因素分析(exploratory factor analysis)和驗訌性因素分析(confirmatory factor analysis)

　　用以測試各構面衡量題項的聚合效度(convergent validity)與區別效度(discriminant validity)。因為僅有信度是不夠的，可信度高的測量，可能是完全無效或是某些程度上無效。所以我們必須對效度進行檢驗。效度是指工具是否能測出在設計時想測出的結果。收斂效度的檢驗根據各個項目和所衡量的概念的因素的負荷量來決定；而區別效度的檢驗是根據檢驗性因素分析計算理論上相關概念的相關係數，檢定相關係數的95％信賴區間是否包含1．0，若不包含1．0，則可確認為具有區別效度(Anderson，1987)。

　　4．結構方程模型分析(structural equations modeling)

　　由於結構方程模型結合了因素分析(factor analysis)和路徑分析(path analysis)，並納入計量經濟學的聯立方程式，可同時處理多個因變數，容許自變數和因變數含測量誤差，可同時估計因數結構和因數關係。容許更大彈性的測量模型，可估計整個模型的擬合程度(Bollen和Long，1993)，因而適用於整體模型的因果關係。在模型參數的估計上，採用最大似然估計法(Maximum Likelihood，ML)；在模型的適合度檢驗上，以基本的擬合標準(preliminary fit criteria)、整體模型擬合優度(overall model fit)以及模型內在結構擬合優度(fit of internal structure of model)(Bagozzi和Yi，1988)三個方面的各項指標作為判定的標準。在評價整體模式適配標準方面，本研究採用x2(卡方)／df(自由度)值、擬合優度指數(goodness．of．f：iJt．in．dex，GFI)、平均殘差平方根(root—mean．square：residual，RMSR)、近似誤差均方根(root-mean—square-error-of-approximation，RMSEA)等指標；模型內在結構擬合優度則參考Bagozzi和Yi(1988)的標準，考察所估計的參數是否都到達顯著水平。

　　郵政報刊生產作業系統投入使用後，至今已經積累了豐富的數據。這些數據全面而真實地描述了郵政報刊發行的業務全流程，同時也沉澱了豐富的報刊客戶及訂閱信息，這些信息集中存儲在資料庫中，以報表為主進行展示。隨著數據分析方法的不斷進步，數據分析的應用模式已經不再局限於單純的報表方式，新的應用模式不斷涌現，先進的數據分析手段將使郵政報刊數據發揮出更大價值。

　　一、數據分析方法及郵政應用現狀

　　數據分析是為了提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。數據分析方法大致可以分為三張統計分析，以基礎的統計分析為主高級分析，以計量經濟建模理論為主；數據挖掘，以機器學習、數據倉庫等複合技術為主。對於郵政報刊全國集中的大數據量來說，數據挖掘方法更能夠發揮作用。有關數據挖掘方法及典型應用見表所示。

　　表數據挖掘方法及應用

　　統計分析方法在郵政行業已有廣泛應用，在郵政業務系統中均有報表統計功能，如統計報刊業務量的同比、環比分析等。高級分析方法常常出現在向上級彙報的分析報告中，如時間序列分析中報刊業務量及收入隨著月份呈現季節性波動的曲線圖，相關分析中對於影響收入的重要指標的相關性分析等。數據挖掘方法目前在郵政的應用還處於起步階段。在郵政儲蓄行業數據挖掘方法正在以主題分析的形勢開展，如郵政儲蓄的VIP客戶分析、客戶進行流失分析等。在郵政報刊行業，數據挖掘方法的應用還處於探索階段。

　　二、數據分析在郵政報刊中的應用模式

　　以《中國郵政郵務類信息化規劃》中報刊業務需求作為研究的著手點，分營銷、經營、產品、渠道四個方面來進行數據分析應用模式的探索。

　　1、營銷類

　　營銷類數據分析主要圍繞市場營銷和客戶營銷兩方面來開展。一是報刊客戶細分。報刊客戶細分是以報刊訂閱客戶為對象，使用數據挖掘方法，根據客戶基本信息、興趣愛好、訂閱行為、客戶忠誠度等多個維度進行聚類分析，得出差異顯著的分群。以分群結果為基礎，總結歸納各個細分群的特征，發掘潛在的細分客戶的消費行為習慣，有針對性地對各個分群客戶開展營銷活動。二是“高碼洋”專題分析。“高洋碼”專題分析主要為滿足郵政報刊發行局發展高端客戶的需求而進行的多系統關聯分析。參照業務部門提供的“高碼洋”刊物進行重點研究，交叉關聯現有的郵政系統如簡訊系統、郵儲系統、“自由一族”、航空客票、中郵快購網站等系統的客戶數據，得出在這些系統中潛在的報刊客戶群。

　　2、經營類

　　經營類數據分析主要包括對郵政報刊業務涉及全流程以及經營模式等方面的分析，以及滿意度、投訴分析。一是報刊發行商業運營模式研究。報刊發行商業運營模式研究是根據規劃中“由傳統發行向數字化發行領域進軍”提出的，研究將引入市場調查手段，通過對報刊發行商業運營情況進行分析，發現郵政報刊發行的優勢與不足，為應對出版產業數字化的迅猛發展形勢，提出數字發行策略模式。二是報刊發行流程優化。在報刊現有的經營管理模式下對統一接辦、統一結算、統一運營和報刊社維護、集團大客戶開發、報刊訂閱網站運營、數字發行等各個業務模式進行梳理，綜合運用統計分析和數據挖掘方法，對相關環節中的數據進行分析，發現業務流程中存在的問題，提出相應的改善建議。

　　3、產品類

　　產品類數據分析主要指提供分析報告或數據服務，如報刊廣告價值報告、報刊要數服務等。一是報刊要數歷史數據分析。報刊要數歷史數據分析是對不j報刊歷年要數數據進行的監測分析處理。該分析能E刊社及時掌握髮行終端的詳實信息，尋找提高報刊有效發行量的途徑同時也為廣告商和廣告主提供同報刊發行情況的橫向對比分析。二是報刊廣告價分析。報刊廣告價值分析來源於郵政報刊訂閱及零；數據和郵政報刊客戶群體數據，從報刊發行和讀者讀兩方面的各項指標對比評價各地公開發行的主要曼刊的廣告價值，分析各報刊的競爭優勢，將分析結以報告的形式呈現給廣告發行商。

　　4、渠道類

　　渠道類數據分析指對報刊的渠道運作狀況進行分千，為郵政報刊合理安排資源、增加渠道效能提供參， 為探索發現新渠道提供幫助。一是報刊訂閱方式析。報刊訂閱方式分析是對讀者訂閱報刊的多種方如支局訂閱、網上訂閱、電話訂閱等進行分析，一亨面，比較各種訂閱方式優劣勢；另一方面，隨著讀訂閱習慣的變化，探索新的訂閱方式，吸引更多的戶訂閱報刊。二是郵政報刊發行渠道分析。隨著新出版業自辦發行的出現，及地鐵、機場、超市等新強勢終端對郵政零售業的衝擊，郵政報刊發行的主暮道地位受到了衝擊。通過對現有渠道的發行量、發亍特征進行歸納總結，一方面可以改善渠道建設中不符合實際情況的問題，另一方面也能從中探索出報刊發行新途徑。

　　綜上。郵政報刊順應市場導向，由計劃經營向市場化經營轉變所提出的變革需求還有很多，在上述四個方面的應用模式之外，還有很多數據分析的應用模式有待挖掘整理和探討。

　　三、應用案例——報刊產品與潛在客戶挖掘

　　1、背景及內容

　　該案例屬於營銷類應用模式，案例以報刊業務從傳統經驗型營銷向現代資料庫營銷轉變的需要作為切入點，基於簡訊系統和量收系統的數據，通過手機號碼將簡訊系統和量收系統中的報刊數據進行匹配整合，關聯報刊與簡訊的交叉用戶，採用聚類分析、相關性分析的數據分析方法，對客戶數據做多維度的分群，進行報刊產品與潛在客戶分析，實現巨集觀市場細分和微觀層面的產品營銷兩個基本內容。

　　2、分析過程

　　該分析選擇了具有地域代表性的某省報刊訂閱客戶數據。整個分析過程包括數據準備、模型構建及模型業務解讀三個階段。數據準備階段將量收報刊營銷系統與簡訊系統關聯取數，形成中間層數據5大類數據，最後載入形成寬表。模型構建階段應用聚類演算法將客戶數據按照偏好和訂閱習慣兩大類進行細分，最後將細分結果進行整合，得出最終的細分結果。模型業務解讀階段從業務角度對模型進行解讀，包括應用落地建議。

　　3、分析成果

　　在巨集觀市場層面，通過判斷客戶的訂閱年限、訂閱份數、訂閱種類、退訂份數、退訂種類將報刊現有客戶劃分為頻繁退訂人群、高價值人群、大眾訂閱人群和中端消費人群。以某省郵政報刊業務為例，確定了四類人群。

　　通過將報刊用戶進行群體劃分，確定了不同類別人群的訂閱偏好。以上述該省報刊為例，高價值客戶偏好的前10名報刊品種有：揚子晚報、現代快報、參考消息、讀者、環球時報、新華日報、：N．-T~J文摘、中國剪報、新民晚報、特別文摘(形象期刊)。其中，參考消息、讀者和環球時報是重點：N~IJ o此分析對於形成有針對性的訂閱目錄提供了依據。

　　在微觀產品營銷層面，確定如何向不同類型客戶，有針對性的推薦報刊產品的基本演算法。首先提取了簡訊用戶，然後通過手機號碼實現用戶關聯其次，總結出既是簡訊用戶又是報刊用戶的人群在訂閱報刊產品方面的顯著特點(與整體報刊用戶比較)，分析交叉關聯客戶在報刊訂閱偏好方面與總體報刊客戶的差異，得出簡訊客戶對報刊的偏好；最後，根據“顯著性”和“客戶規模”等指標進行篩選，確定適合向各類客戶推薦的報刊種類，支撐精準營銷。整個分析過程實現了有針對性地向不同類別潛在客戶推薦報刊產品。例如，通過分析得到向該省簡訊客戶推薦的報刊品種有：北方新報．新周末、興安廣播電視報、37°女人。該分析實現了“應該向什麼樣的客戶推薦哪些產品”的基本功能。

　　4、實際應用

　　以某省為例，針對《看天下》的客戶進行分析，為該刊物挖掘出訂閱其他刊物的客戶人群。以一年的訂閱《看天下》客戶為分析數據，通過對興趣偏好的分析，得出同時訂閱其他雜誌的情況。

　　在此基礎上對訂閱這幾種報刊的客戶進一步分析興趣偏好，得出訂閱《三聯生活周刊》《中國國家地理》《世界博覽》《特別關註》《青年文摘》《南方周末》的客戶對《看天下》的興趣更高，並向市場營銷部門建議對訂閱這幾種報刊的客戶推薦《看天下)。另外，對《看天下》的客戶前22大分類報刊的偏好進行分析，通過聚類與相關性分析《看天下》的客戶同時訂閱其他種類的報刊客戶的占比情況，發現排在前列的有養生保健、文學、電影電視、科普、投資理財五類興趣偏好，由此向市場營銷部門建議對偏好這些興趣的人群推薦《看天下》，並開展相關的營銷活動。

　　5、應用效果及意義

　　該案例通過對報刊數據的深層分析，為郵政報刊的高端客戶提供了良好的報刊推薦服務。另外，對報刊和簡訊數據的關聯分析，挖掘出潛在的報刊客戶群體，並有針對性的推薦相關產品。這些分析所產生的報刊產品將直接服務於報刊社和報刊市場，為郵政報刊產生良好的社會和經濟效益。

　　(一)數據改變企業的運營管理決策方式

　　運營管理分為四種：移動化、雲計算、大數據和全球化，作為4大力量中堅力量之一的大數據，正改變著企業的運營管理決策方式。由於數據處理分析和管理等相關技術的不斷成熟，企業內部的管理運作數據、業務運作數據，企業與客戶的關係及互動數據，客戶或潛在客戶在企業經營業務之外的生活方式、活動、情感、社交等大數據，正為企業所採集和分析，企業洞察客戶需求更深入、更全面，對業務運營管控更及時有力，因此大數據將完全改變企業管理者以往“拍腦袋”的決策方式，管理決策更依賴“用數據說話”，決策更趨科學性、理性，更具定量化和可評估性以及準確性和延續性。數據促進企業管理決策的能量不在於數據之大，也不在於數據本身，而在於企業根據大數據做出的更深入、更全面的客戶需求洞察，並以此支撐企業針對性運營管理決策的及時、科學、有效形成，促進企業運營管理的高效準確運行以及企業生產力發展。

　　(二)目前企業數據分析的可拓展方向

　　(1)社交網路分析模型。數據伴隨社交網路的風行而發展。社交網路發展促進了人們的數字化生存，讓人們生活和工作的有關信息數字化，而這些數字化信息一方面成為以單個個體為對象的形形色色、包羅萬象、細緻入微、支撐洞察個體興趣需求和喜好的數據：另一方面也將原來現實生活中不可獲得的人與人之間的關係信息搬上了網路。對於移動通信企業來說，客戶的社交網路分析即一個重要的數據分析方向。社交網路分析的內容為：通過測算識別客戶與客戶之間關係所形成的圈子以及圈子中各客戶角色的判定，形成企業對各個客戶影響力和價值的判斷，在此基礎上，利用對這些圈子、角色和影響力的認識，幫助企業實現相關營銷活動或產品套餐的推廣，提高企業營銷和運營管理的效率。

　　(2)客戶價值分析模型。隨著社交網路的發展，不僅使得客戶行為需求喜好信息更豐富，而且可獲得客戶之間關係的數據信息。如在捆綁套餐營銷活動中，活動在用戶群中的擴散呈鏈狀發展，發展過程中，客戶的圈子構成以及客戶對圈中其他用戶的影響力對活動推廣擴散有重要影響。如果能夠識別並藉助有足夠影響力的客戶幫助推廣活動，活動的營銷效率必然有很大程度的提高。可見，數據時代，當企業的客戶分析在原有以客戶為對象進行分析的基礎上，增加以客戶與客戶之間關係為對象的分析時，客戶的價值測算和分析也將隨之發生變化，客戶的價值不再僅是個體客戶消費體現的價值，還應增加個體客戶對所在群體內其他客戶的影響力指標。

　　(三)企業應用數據分析的必要性

　　(1)實時數據分析支撐的營銷運營管理應用。由於數據分析、數據挖掘手段的支撐，傳統數據時代，一些先進的企業已經基本實現洞察力驅動的精確營銷運營管理。數據時代，客戶數據更為豐富和細緻，企業對客戶需求洞察更為全面而準確，更重要的是，由於數據處理分析技術的成熟，企業實現客戶洞察的能力在數據存儲與數據處理和分析方面將更高效，甚至達到實時，所以支撐營銷運營管理全流程各環節決策的數據流可以與營銷運營管理的工作流達到同步，企業可以綜合客戶的歷史消費行為信息和客戶當前行為，實時做出針對個體客戶的個性化營銷策略，從而在提高營銷命中率的同時及時有效地識別並抓住稍瞬即逝的營銷機會，極大地提高營銷運營管理效率。

　　(2)數據分析促進智能管道運營應用的落實。對於企業來說，智能管道的核心能力在於，根據客戶行為，實時為客戶推薦並調配網路設備資源。傳統數據時代，很難滿足智能管道運營的要求，因為涉及的問題與前述客戶體驗的實時測算一樣，由於技術條件限制不可能達到：數據時代，對半結構化機器數據實時採集、處理和分析的技術逐漸成熟，將大大促進智能管道運營管理落實的進程。

　　其實現原理基本類似於客戶體驗管理，最大的差別僅在於，智能管道以對客戶產品使用行為測算的數據與提供產品的網路設備資源做對應，從而在保證客戶體驗達標的條件下，充分調配、切割、整合企業的設備網路資源，通過實現資源利用的最高效而達到資源配置的最優化。

　　(四)IT系統對數據支撐的體系規劃和趨勢

　　(1)梳理並整合業務部門對數據的需求，立足分析需求，做好數據IT體系架構的3步規劃。數據相關技術條件的成熟、數據分析能力以及分析應用經驗的積累等多方面因素，都是制約企業建設數據IT系統的條件，要充分抓住數據帶來的機會並避免“心急吃不得熱豆腐，反被熱豆腐傷害”的問題，建議企業建設數據IT系統分階段實現：第l階段，將原來支撐報表分析的EDW優化升級到支撐高級分析的BI系統；第2階段，逐步採集數據，將BI系統升級到支撐數據分析的IT系統：第3階段，打通數據分析的IT系統與企業運營管理系統，將數據分析功能嵌入業務流程。

　　(2)以職能部門提供整體IT支撐方式向嵌入業務流程實時數據的分散能力支撐方式轉變。這種轉變趨勢又稱IT支撐“消費化”趨勢。傳統數據時代，企業建立數據中心，集中企業層面所有數據，為企業運營管理決策集中提供數據報表、分析甚至挖掘支撐，是公認的高效IT支撐方式；數據時代，數據從支撐企業中高層運營管理決策普及到支撐企業的產品運營、市場運營、客戶服務，甚至在智能管道運營全流程中涉及從企業中高層運營管理人員到基層生產執行人員，很明顯，這種數據獲取和分析能力如果僅集中在IT職能部門，而不是全體人員均結合自身業務需求而具備的話，數據分析驅動的各項運營管理應用即成為不可能的任務。

　　所以，數據時代，數據要真正改變企業運營管理決策方式，使企業上下形成以數據驅動的企業文化為標誌性特征，每個人都要做好與數據打交道的能力和心理準備，而IT系統運營管理部門也將不得不面臨數據從數據採集、清洗、存儲、處理到分析、提供和管理的過程，在各業務運營管理流程、各部門、各類用戶間如何高效運行、高效交互、高效支撐的更複雜的IT系統支撐問題。

• 數據整理
• 資料庫管理系統
• 信息管理系統
• 數據倉庫
• 信息系統
• 資料庫技術