暗數據

出自 MBA智库百科(https://wiki.mbalib.com/)

　　暗數據是指那些未被髮掘或理解的數據，來自於大數據的陰暗面，即信息資產企業在日常業務活動中收集、處理和存儲但不具備特定用途的數據。它包括尚未應用於業務、形成有競爭力的情報或對商業決策產生幫助的所有數據對象與類型。暗數據分析主要是針對文本形式的原始數據，如文本信息、文件、電子郵件、音頻視頻文件以及靜態圖像等，有時也會對深網，即沒有被搜索引擎索引的網路信息進行暗數據分析。大部分的暗數據都被分類於結構造成的信息缺乏之中，而且，這些數據只被使用過一次，最後，就被儲存在邏輯混亂，數量龐大的其他社群之中了。實際上，一個信息系統產生的80%的文檔都未被二次使用。^[2]

　　尚未被分析的運營數據可能含有潛在的商機。這些數據可能會產生新的收益或降低企業內部成本。

　　一些有價值的暗數據包括含網頁訪問者行為記錄的伺服器日誌文件、顯示用戶體驗反饋與電話定位數據（流量模式有利於制定業務規劃）的用戶電話記錄。

　　無論你所在企業機構收集或存儲的是什麼類型的暗數據，將數據從“黑暗中解脫”出來的關鍵是確保你具備將其從一種形式轉換為另一種形式的方法，並將其輕鬆地添加至你所使用的分析平臺中。

　　實現對海量“暗數據”的價值利用和合理管控，首先要找到這些價值信息，並想方法保護好它們。因為價值信息擁有商機的同時，也面臨著巨大威脅，針對這些價值信息的安全威脅也同不斷囤積在“黑暗”中的數據一樣，時刻存在和累積著。那麼，如何降低威脅和風險？可以從以下幾個方面來考慮。

　　數據識別

　　通過深度內容識別技術，對存儲在伺服器、資料庫和文件系統的重要和敏感數據進行檢查和分類，找到海量暗數據中的“特殊數據”，清楚瞭解這些暗數據中的敏感信息具體存放於什麼位置。

　　數據評估

　　依據法規要求，針對識別到的敏感數據，評估其在存儲、使用過程中的合規性，找出數據泄漏風險，及時消除隱患。

　　數據監控與控制

　　實時監控各個環節中的重要數據違規發送的風險，對重要信息、有害信息的違規外發行為進行阻止。

　　數據審計

　　對敏感信息違規獲取、發佈、發送的指令級、內容級審計，實現數據全生命周期合規性可視化審計。

　　最先提到暗數據時，我們首先會聯想到它是對信息管理的一種挑戰。現如今再提及暗數據的時候，我們會從一個更加理智的方面，把它看做一種管理利用現有信息的手段。由引擎驅使的就是元數據——從字面上看，就是關於數據的數據，可以在一個開放的領域內，進行確認，鏈接以及選取相互滲透的信息。

　　至於如何實現該建議，我們應該擴展自己對於元數據的使用方法，來創造一個更具整體性的商業觀點，而不是局限於自身對元數據的觀念。元數據包含著特殊的屬性，它不僅僅和系統中的關鍵元素相互聯繫，同樣，也可以智能地被項目、客戶、工作流、狀態欄以及其他的因數用於操控進程、分類數據。信息財產的價值只有當提及與其相關的元數據的總量，才能展現出來。

　　當駕駛員在路上需要物件來照亮的時候，對比於暗數據，元數據就像是一組全方位的車前燈，使用它的目的非常明確。元數據能夠通過一個或多個代碼庫闡明這些關係，或者通過一個ERP系統和CRM系統，也能夠確認信息在一個相容的環境下被讀取，存儲以及分享。元數據可以提供一個簡明扼要的方式，來查找數據源或者歷史信息，在此同時，可以確保工作流和業務流程都已被合理的管理。

　　更深層次的挖掘這個想法之後，就會發現，元數據也可以組成關於文件的發展和迴圈的信息，而這些記錄更是包含了客戶、流程、以及涉及到應用的創新、修訂、存檔、保留和銷毀。完全能夠和粒度細節相媲美、深度挖掘如評審、批准以及存取許可改變的確切時間戳。

　　正因為暗數據是大數據的萎靡面，要扭轉這樣的局面只能依靠對元數據的管理。而且，IT行業的管理者在管理結構的時候也會獲得更多的靈活性。把元數據當做一個微錨節點加入到文件之中，可以保證所有的企業信息都是可查找的，可利用的，可輸出的——無論是任何種類的文件，格式和對象均可。

　　在這樣的模式下企業就會發現，元數據常駐的時候，重要的數據就變少了。但是，信息該被最好的分類管理，以實現信息使用和信息價值的最大化。通過單獨管理元數據，組織可以獲得一個更為全面的企業內容的觀念，即使與元數據相關聯的信息中沒有出現新的文件，如審計和偏差，元數據也可以提供一個過程和流程，使之變成自己的財產。

　　因此，當我們把暗數據當做一種未被充分利用的信息，就可以看出元數據包含了像素，如果你願意，照明信息資產的連通和連配，用以創造一個觀察信息的360度的視角。這種對信息管理的全景方法，不僅僅將暗數據予以利用，也使得分散的信息能夠被更直接的運用。

• 大數據
• 元數據