資料庫技術
出自 MBA智库百科(https://wiki.mbalib.com/)
資料庫技術（Database Technology）
目錄 |
資料庫技術是信息系統的一個核心技術。是一種電腦輔助管理數據的方法，它研究如何組織和存儲數據，如何高效地獲取和處理數據。是通過研究資料庫的結構、存儲、設計、管理以及應用的基本理論和實現方法，並利用這些理論來實現對資料庫中的數據進行處理、分析和理解的技術。即：資料庫技術是研究、管理和應用資料庫的一門軟體科學。
資料庫技術是現代信息科學與技術的重要組成部分，是電腦數據處理與信息管理系統的核心。資料庫技術研究和解決了電腦信息處理過程中大量數據有效地組織和存儲的問題，在資料庫系統中減少數據存儲冗餘、實現數據共用、保障數據安全以及高效地檢索數據和處理數據。
資料庫技術研究和管理的對象是數據，所以資料庫技術所涉及的具體內容主要包括：通過對數據的統一組織和管理，按照指定的結構建立相應的資料庫和數據倉庫；利用資料庫管理系統和數據挖掘系統設計出能夠實現對資料庫中的數據進行添加、修改、刪除、處理、分析、理解、報表和列印等多種功能的數據管理和數據挖掘應用系統；並利用應用管理系統最終實現對數據的處理、分析和理解。
資料庫技術產生於20世紀60年代末70年代初,其主要目的是有效地管理和存取大量的數據資源.資料庫技術主要研究如何存儲,使用和管理數據. 近年來,資料庫技術和電腦網路技術的發展相互滲透,相互促進,已成為當今電腦領域發展迅速,應用廣泛的兩大領域.資料庫技術不僅應用於事務處理,並且進一步應用到情報檢索,人工智慧,專家系統,電腦輔助設計等領域.
資料庫技術涉及到許多基本概念,主要包括:信息,數據,數據處理,資料庫,資料庫管理系統以及資料庫系統等。
資料庫技術是現代信息科學與技術的重要組成部分，是電腦數據處理與信息管理系統的核心。資料庫技術研究和解決了電腦信息處理過程中大量數據有效地組織和存儲的問題，在資料庫系統中減少數據存儲冗餘、實現數據共用、保障數據安全以及高效地檢索數據和處理數據。
資料庫技術的發展與應用[1]
從20世紀60年代末期開始到現在，資料庫技術已經發展了30多年。在這30多年的歷程中，人們在資料庫技術的理論研究和系統開發上都取得了輝煌的成就，而且已經開始對新一代資料庫系統的深入研究。資料庫系統已經成為現代電腦系統的重要組成部分。
資料庫技術與信息技術[1]
信息技術(Information Technology，IT)是當今使用頻率最高的名詞之一，它隨著電腦技術在工業、農業以及日常生活中的廣泛應用，已經被越來越多的個人和企業作為自己趕超世界潮流的標誌之一。而資料庫技術則是信息技術中一個重要的支撐。沒有資料庫技術，人們在浩瀚的信息世界中將顯得手足無措。
資料庫技術是電腦科學技術的一個重要分支。從20世紀50年代中期開始，電腦應用從科學研究部門擴展到企業管理及政府行政部門，人們對數據處理的要求也越來越高。1968年，世界上誕生了第一個商品化的信息管理系統IMS(Information Management System)，從此，資料庫技術得到了迅猛發展。在互聯網日益被人們接受的今天，Internet又使資料庫技術、知識、技能的重要性得到了充分的放大。現在資料庫已經成為信息管理、辦公自動化、電腦輔助設計等應用的主要軟體工具之一，幫助人們處理各種各樣的信息數據。
資料庫技術的應用及特點[1]
資料庫最初是在大公司或大機構中用作大規模事務處理的基礎。後來隨著個人電腦的普及，資料庫技術被移植到PC機(Personal Computer，個人電腦)上，供單用戶個人資料庫應用。接著，由於PC機在工作組內連成網，資料庫技術就移植到工作組級。現在，資料庫正在Internet和內聯網中廣泛使用。
20世紀60年代中期，資料庫技術是用來解決文件處理系統問題的。當時的資料庫處理技術還很脆弱，常常發生應用不能提交的情況。20世紀70年代關係模型的誕生為資料庫專家提供了構造和處理資料庫的標準方法，推動了關係資料庫的發展和應用。1979年，Ashton-Tate公司引入了微機產品dBase Ⅱ，並稱之為關係資料庫管理系統，從此資料庫技術移植到了個人電腦上。20世紀80年代中期到後期，終端用戶開始使用區域網技術將獨立的電腦連接成網路，終端之間共用資料庫，形成了一種新型的多用戶數據處理，稱為客戶機/伺服器資料庫結構。現在，資料庫技術正在被用來同Internet技術相結合，以便在機構內聯網、部門區域網甚至WWW上發佈資料庫數據。
資料庫技術發展的四個方向[1]
- 規模會向兩頭髮展—大的越來越大，小的越來越小。所謂大的，指的是企業級資料庫的規模。10年前，資料庫存儲的數據大都以GB為基準衡量，幾十GB就已經非常龐大。而現在，只廣東移動每個月新增的數據量，就已經以TB衡量，不出3年，很多企業要存儲的數據就要達到PB級。數據量越來越大，需要更大的資料庫做支撐，這就是資料庫的發展方向之一。另一方面，資料庫也會越來越小。現在，Sybase的資料庫已經安裝在高檔的Casio手錶中了，這些手錶中記錄的有天氣情況、氣壓、佩帶者的血壓、心跳等數據。這種資料庫並不要求數據存儲量大，但是要求在低計算量的情況下反應快，而且能夠適應外界環境的變化。
- 存儲方式從行到列的改變。以前資料庫都是以行的形式存儲的，理由很簡單，用戶需要的是對單條數據的讀取和存儲。而現在，單純的數據記錄已經不足以支撐企業發展了，企業更需要的是數據分析和決策支持。那麼，單純看一條記錄沒有任何意義，而是要把所有數據的某一項都統計出來進行分析，這就是列的概念。以中國移動為例，上億個用戶，每個月上TB的數據，哪些是VIP用戶，該如何根據他們的需求提供專有服務，對於那些動感地帶的用戶，到底應該制定哪些優惠政策，除了看話費，是不是還能挖掘出他們的消費特點，進行更有針對性的業務推廣活動?這些，就不是看一條數據的問題，而需要頻繁對列進行操作。我預計，不出半年，各大資料庫廠商都會推出以列為存儲方式的資料庫。
- 非結構化數據仍然不能納入資料庫中。說到這裡，可能大家都認為我在逆潮流而動，現在很多資料庫廠商都可以接受圖像、視頻等非結構化數據了，Sybase怎麼還要死守著結構化數據呢?其實我認為，非結構化數據要想進入資料庫，仍然需要結構化，只是這種結構化的方法各廠商不一樣，而且相比以前有了很大的進步和提高。以前我們圖片的記錄方式是記錄它的文件名，如果文件名中提到了某個人的名字，那麼在整個資料庫查詢的時候，就可以把這個圖片找到。而這是非常不科學的，因為很多非結構化數據的文件名起的並不可能完全。那麼，現在大家把非結構化的數據變得結構化，其實就是在用結構化的數據描述這張圖片，比如用點和位置來記錄這張圖片的每個像素。而一旦需要做查詢的時候，可以根據像素的組合記錄來比對，把符合比對要求的數據全部篩選出來。這樣就把非結構化數據以結構化的方式納入資料庫中了，並能接受查詢、檢索等操作。
- 資料庫和數據倉庫會分開。很多資料庫廠商認為，資料庫一個就行，一專多能，既能用它進行實時交易，也能用它來進行數據分析。但是，其實很多用戶現在在前臺需要資料庫提供實時交易功能，需要有很快的響應速度，而在後臺，則需要設立一些規則進行數據分析和商務智能分析。Sybase就認為，這兩個資料庫應該是兩種格式，畢竟它們的功能不一樣。因此，從產品設置上，Sybase有交易型資料庫和分析型資料庫兩種。
資料庫技術發展歷史[2]
數據模型是資料庫技術的核心和基礎，因此，對資料庫系統發展階段的劃分應該以數據模型的發展演變作為主要依據和標誌。按照數據模型的發展演變過程，資料庫技術從開始到現在短短的30年中，主要經歷了三個發展階段：第一代是網狀和層次資料庫系統，第二代是關係資料庫系統，第三代是以面向對象數據模型為主要特征的資料庫系統。資料庫技術與網路通信技術、人工智慧技術、面向對象程式設計技術、並行計算技術等相互滲透、有機結合，成為當代資料庫技術發展的重要特征。
第一代資料庫系統是20世紀70年代研製的層次和網狀資料庫系統。層次資料庫系統的典型代表是1969年IBM公司研製出的層次模型的資料庫管理系統IMS。20世紀60年代末70年代初，美國資料庫系統語言協會CODASYL(Conference on Data System Language)下屬的資料庫任務組DBTG(Data Base Task Group)提出了若幹報告，被稱為DBTG報告。DBTG報告確定並建立了網狀資料庫系統的許多概念、方法和技術，是網狀資料庫的典型代表。在DBTG思想和方法的指引下資料庫系統的實現技術不斷成熟，開發了許多商品化的資料庫系統，它們都是基於層次模型和網狀模型的。
可以說，層次資料庫是資料庫系統的先驅，而網狀資料庫則是資料庫概念、方法、技術的奠基者。
第二代資料庫系統是關係資料庫系統。1970年IBM公司的San Jose研究試驗室的研究員Edgar F. Codd發表了題為《大型共用資料庫數據的關係模型》的論文，提出了關係數據模型，開創了關係資料庫方法和關係資料庫理論，為關係資料庫技術奠定了理論基礎。Edgar F. Codd於1981年被授予ACM圖靈獎，以表彰他在關係資料庫研究方面的傑出貢獻。
20世紀70年代是關係資料庫理論研究和原型開發的時代，其中以IBM公司的San Jose研究試驗室開發的System R和Berkeley大學研製的Ingres為典型代表。大量的理論成果和實踐經驗終於使關係資料庫從實驗室走向了社會，因此，人們把20世紀70年代稱為資料庫時代。20世紀80年代幾乎所有新開發的系統均是關係型的，其中涌現出了許多性能優良的商品化關係資料庫管理系統，如DB2、Ingres、Oracle、Informix、Sybase等。這些商用資料庫系統的應用使資料庫技術日益廣泛地應用到企業管理、情報檢索、輔助決策等方面，成為實現和優化信息系統的基本技術。
從20世紀80年代以來，資料庫技術在商業上的巨大成功刺激了其他領域對資料庫技術需求的迅速增長。這些新的領域為資料庫應用開闢了新的天地，併在應用中提出了一些新的數據管理的需求，推動了資料庫技術的研究與發展。
1990年高級DBMS功能委員會發表了《第三代資料庫系統宣言》，提出了第三代資料庫管理系統應具有的三個基本特征：
- 應支持數據管理、對象管理和知識管理。
- 必須保持或繼承第二代資料庫系統的技術。
- 必須對其他系統開放。
下一代資料庫技術的發展主流
針對關係資料庫技術現有的局限性 ,理論界現在主要有三種觀點 :
- 面向對象的資料庫技術將成為下一代資料庫技術發展的主流
部分學者認為現有的關係型資料庫無法描述現實世界的實體 ,而面向對象的數據模型由於吸收了已經成熟的面向對象程式設計方法學的核心概念和基本思想 ,使得它符合人類認識世界的一般方法 ,更適合描述現實世界。甚至有人預言 ,資料庫的未來將是面向對象的時代。
- 面向對象的關係資料庫技術
關係資料庫幾乎是當前資料庫系統的標準 ,關係語言與常規語言一起幾乎可完成任意的資料庫操作 ,但其簡潔的建模能力、有限的數據類型、程式設計中數據結構的制約等卻成為關係型資料庫發揮作用的瓶頸。面向對象方法起源於程式設計語言 ,它本身就是以現實世界的實體對象為基本元素來描述複雜的客觀世界 ,但功能不如資料庫靈活。因此部分學者認為將面向對象的建模能力和關係資料庫的功能進行有機結合而進行研究是資料庫技術的一個發展方向。
- 面向對象資料庫技術
面向對象資料庫的優點是能夠表示覆雜的數據模型 ,但由於沒有統一的數據模式和形式化理論 ,因此缺少嚴格的數據邏輯基礎。而演繹資料庫雖有堅強的數學邏輯基礎。
但只能處理平面數據類型。因此 ,部分學者將兩者結合 ,提出了一種新的資料庫技術——演繹面向對象資料庫 ,並指出這一技術有可能成為下一代資料庫技術發展的主流。
資料庫技術發展的新方向
非結構化資料庫是部分研究者針對關係資料庫模型過於簡單 ,不便表達複雜的嵌套需要以及支持數據類型有限等局限 ,從數據模型入手而提出的全面基於網際網路應用的新型資料庫理論。他們認為這種資料庫的最大區別就在於它突破了關係資料庫結構定義不易改變和數據定長的限制 ,支持重覆欄位、子欄位以及變長欄位並實現了對變長數據和重覆欄位進行處理和數據項的變長存儲管理 ,在處理連續信息 (包括全文信息 )和非結構信息 (重覆數據和變長數據 )中有著傳統關係型資料庫所無法比擬的優勢。但研究者認為此種資料庫技術並不會完全取代現在流行的關係資料庫 ,而是它們的有益的補充。
資料庫技術發展的又一趨勢
有學者指出 :資料庫與學科技術的結合將會建立一系列新資料庫 ,如分散式資料庫、並行資料庫、知識庫、多媒體資料庫等 ,這將是資料庫技術重要的發展方向。其中 ,許多研究者都對多媒體資料庫作為研究的重點 ,並認為多媒體技術和可視化技術引入多媒體資料庫將是未來資料庫技術發展的熱點和難點。
部分學者在對各個資料庫廠商的發展方向和應用需求的不斷擴展的現狀進行分析的基礎上 ,提出資料庫技術及市場在向數據倉庫和電子商務兩個方向不斷發展的觀點。他們指出 :從去年開始 ,許多行業如電信、金融、稅務等逐步認識到數據倉庫技術對於企業巨集觀發展所帶來的巨大經濟效益 ,紛紛建立起數據倉庫系統。在我國提供大型數據倉庫解決方案的廠商主要有Oracle、IBM、Sybase、CA及Informix等廠商 ,已經建設成功並已收回投資的項目主要有招商銀行系統和國信證券系統等。目前 ,國內外學者對數據倉庫的研究正在繼續深入。與此同時 ,一些學者將資料庫技術及市場發展的視角瞄準電子商務領域 ,他們認為 :現在的信息系統逐漸要求按照以客戶為中心的方式建立應用框架 ,因此勢必要求資料庫應用更加廣泛地接觸客戶 ,而Internet給了我們一個非常便捷的連接途徑 ,通過Internet我們可以實現所謂的One One Marketing和One One business,進而實現E business。因此 ,電子商務將成為未來資料庫技術發展的另一方向。
- 面向專門應用領域的資料庫技術
許多研究者從實踐的角度對資料庫技術進行研究 ,提出了適合應用領域的資料庫技術如工程資料庫、統計資料庫、科學資料庫、空間資料庫、地理資料庫等。這類資料庫在原理上也沒有多大的變化 ,但是它們卻與一定的應用相結合 ,從而加強了系統對有關應用的支撐能力 ,尤其表現在數據模型、語言、查詢方面。部分研究者認為 ,隨著研究工作的繼續深和資料庫技術在實踐工作中的應用 ,資料庫技術將會更多朝著專門應用領域發展。
資料庫技術發展的四個方向中 規模會向兩頭髮展—大的越來越大，....... 兩頭"發"展