大數據管理
出自 MBA智库百科(https://wiki.mbalib.com/)
大數據管理(Big Data Management)
目錄 |
在大數據時代,數據已成為國家基礎性戰略資源的重要組成部分。隨著空間信息技術的飛速發展,空間數據的採集手段日趨多元化,地理信息技術在各行各業當中的應用也更加廣泛和深入,由此也促使GIS大數據時代的到來。大數據是一把“雙刃劍”,高精度、廣覆蓋的矢量數據爆炸式地增長,在提升國家級巨集觀科學決策﹑社會監管﹑公共服務以及應急決策管理能力等方面提供了良好的契機;但同時如何有效地進行組織與管理大規模的矢量數據,使其發揮最大的效益,成為了目前實際應用當中迫切需要解決的難題。[1]
大數據需要以通過各種渠道收集的大量資料、信息和數據,具有信息量大、處理速度飲、數據多樣化、價值性高等特征。大數據的到來,讓社會發生了巨大的變革。大數據管理是為了面臨大數據時代的到來,如何對數據進行管理和利用。[2]
大數據管理的挑戰[2]
- 數據集成管理
數據信息量的增加和數據類型結構的複雜,給大數據的數據集成管理帶來了很大困難。一方面,大量的數據各有各的來源,具有結構化、半結構化、非結構化的不同特征,存儲方式也各有不同,需要進行複雜的轉換才能集成管理;另一方面,數據的質量參差不齊在集成管理的過程中需要進行信息的篩選,淘汰掉無用的信息,集成管理的數據篩選標準難以確定。
- 數據的分析
大數據包括大量半結構化和非結構化數據,這就讓以往的數據分析體系不再適合新時代的數據管理。首先,現有的數據分析體系不能夠及時處理半結構化和非結構化的數據,需要花費大量額外的時間,數據分析缺乏時效性;其次,大數據環境當中的數據處於一種動態的變化環境,索引方案不能夠根據具體的場景來進行調整;最後,傳統的數據分析結構對於數據的類型、屬性、取值範圍己經有了一定瞭解,而對半結構化和非結構化數據,就難以理清數據內部的關係,缺少高效處理的先決條性。
- 隱私問題
由於大數據時代的信息傳播越來越容易,數據的隱私問題也隨之越來越嚴重。人們在互聯網的不同節點留下自己的信息,單個節點的信息不容易暴露用戶的隱私。但是如果能夠把多個節點的用戶信息綜合起來,就會暴露用戶的大量隱私。另外,大數據時代需要進行大量數據的公開,來促進社會和經濟的發展。信息公開的標準如果不合理,也容易造成個人隱私的暴露,造成信息公開與個人隱私的矛盾。這些都是大數據時代的個人信息保護所需要註意的。