神經網路演算法
出自 MBA智库百科(https://wiki.mbalib.com/)
目錄 |
神經網路演算法是指，根據邏輯規則進行推理的過程；它先將信息化成概念，並用符號表示，然後，根據符號運算按串列模式進行邏輯推理；這一過程可以寫成串列的指令，讓電腦執行。然而，直觀性的思維是將分散式存儲的信息綜合起來，結果是忽然間產生想法或解決問題的辦法。
這種思維方式的根本之點在於以下兩點：信息是通過神經元上的興奮模式分佈儲在網路上；信息處理是通過神經元之間同時相互作用的動態過程來完成的。
思維學普遍認為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分散式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。
神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：
（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。
（2）建立理論模型。根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。
（3）網路模型與演算法研究。在理論模型研究的基礎上構作具體的神經網路模型，以實現電腦模擬或準備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。
（4）人工神經網路應用系統。在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構造專家系統、製成機器人等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的剋服而日新月異。
心理學家和認知科學家研究神經網路的目的在於探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。
生物學、醫學、腦科學專家試圖通過神經網路的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望於臨床醫學的新突破；信息處理和電腦科學家研究這一問題的目的在於尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代電腦。
人工神經網路早期的研究工作應追溯至上世紀40年代。下麵以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經網路的發展歷史。
1943年，心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今，並且直接影響著這一領域研究的進展。因而，他們兩人可稱為人工神經網路研究的先驅。
1945年馮·諾依曼領導的設計小組試製成功存儲程式式電子電腦，標誌著電子電腦時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程式式電腦的根本區別，提出了以簡單神經元構成的再生自動機網路結構。但是，由於指令存儲式電腦技術的發展非常迅速，迫使他放棄了神經網路研究的新途徑，繼續投身於指令存儲式電腦技術的研究，併在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通電腦聯繫在一起的，但他也是人工神經網路研究的先驅之一。
50年代末，F·Rosenblatt設計製作了“感知機”，它是一種多層的神經網路。這項工作首次把人工神經網路的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效製作感知機，分別應用於文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而，這次人工神經網路的研究高潮未能持續很久，許多人陸續放棄了這方面的研究工作，這是因為當時數字電腦的發展處於全盛時期，許多人誤以為數字電腦可以解決人工智慧、模式識別、專家系統等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落後，主要的元件是電子管或晶體管，利用它們製作的神經網路體積龐大，價格昂貴，要製作在規模上與真實的神經網路相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異感這樣的基本問題，而且多層網路還不能找到有效的計算方法，這些論點促使大批研究人員對於人工神經網路的前景失去信心。60年代末期，人工神經網路的研究進入了低潮。
另外，在60年代初期，Widrow提出了自適應線性元件網路，這是一種連續取值的線性加權求和閾值網路。後來，在此基礎上發展了非線性多層自適應網路。當時，這些工作雖未標出神經網路的名稱，而實際上就是一種人工神經網路模型。
隨著人們對感知機興趣的衰退，神經網路的研究沉寂了相當長的時間。80年代初期，模擬與數字混合的超大規模集成電路製作技術提高到新的水平，完全付諸實用化，此外，數字電腦的發展在若幹應用領域遇到困難。這一背景預示，向人工神經網路尋求出路的時機已經成熟。美國的物理學家Hopfield於1982年和1984年在美國科學院院刊上發表了兩篇關於人工神經網路研究的論文，引起了巨大的反響。人們重新認識到神經網路的威力以及付諸應用的現實性。隨即，一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網路的研究熱潮。
1985年，Ackley、Hinton和Sejnowski將模擬退火演算法應用到神經網路訓練中，提出了Boltzmann機，該演算法具有逃離極值的優點，但是訓練時間需要很長。
1986年，Rumelhart、Hinton和Williams提出了多層前饋神經網路的學習演算法，即BP演算法。它從證明的角度推導演算法的正確性，是學習演算法有理論依據。從學習演算法角度上看，是一個很大的進步。
1988年，Broomhead和Lowe第一次提出了徑向基網路：RBF網路。
總體來說，神經網路經歷了從高潮到低谷，再到高潮的階段，充滿曲折的過程。
（1）人類大腦有很強的自適應與自組織特性。
後天的學習與訓練可以開發許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善於運用手勢；訓練有素的運動員可以表現出非凡的運動技巧等等。
普通電腦的功能取決於程式中給出的知識和能力。顯然，對於智能活動要通過總結編製程式將十分困難。
人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標準進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境 （即輸入信號情況）而異，系統可以自動發現環境特征和規律性，具有更近似人腦的功能。
（2）泛化能力
泛化能力指對沒有訓練過的樣本，有很好的預測能力和控制能力。特別是，當存在一些有雜訊的樣本，網路具備很好的預測能力。
（3）非線性映射能力
當對系統對於設計人員來說，很透徹或者很清楚時，則一般利用數值分析，偏微分方程等數學工具建立精確的數學模型，但當對系統很複雜，或者系統未知，系統信息量很少時，建立精確的數學模型很困難時，神經網路的非線性映射能力則表現出優勢，因為它不需要對系統進行透徹的瞭解，但是同時能達到輸入與輸出的映射關係，這就大大簡化設計的難度。
（4）高度並行性
並行性具有一定的爭議性。承認具有並行性理由：神經網路是根據人的大腦而抽象出來的數學模型，由於人可以同時做一些事，所以從功能的模擬角度上看，神經網路也應具備很強的並行性。
多少年以來，人們從醫學、生物學、生理學、哲學、信息學、電腦科學、認知學、組織協同學等各個角度企圖認識並解答上述問題。在尋找上述問題答案的研究過程中，這些年來逐漸形成了一個新興的多學科交叉技術領域，稱之為“神經網路”。神經網路的研究涉及眾多學科領域，這些領域互相結合、相互滲透並相互推動。不同領域的科學家又從各自學科的興趣與特色出發，提出不同的問題，從不同的角度進行研究。
若從速度的角度出發，人腦神經元之間傳遞信息的速度要遠低於電腦，前者為毫秒量級，而後者的頻率往往可達幾百兆赫。但是，由於人腦是一個大規模並行與串列組合處理系統，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高於串列結構的普通電腦。人工神經網路的基本結構模仿人腦，具有並行處理特征，可以大大提高工作速度。
人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容，也即信息存貯在神經元之間連接強度的分佈上，存貯區與電腦區合為一體。雖然人腦每日有大量神經細胞死亡 （平均每小時約一千個），但不影響大腦的正常思維活動。
普通電腦是具有相互獨立的存貯器和運算器，知識存貯與數據運算互不相關，只有通過人編出的程式使之溝通，這種溝通不能超越程式編製者的預想。元器件的局部損壞及程式中的微小錯誤都可能引起嚴重的失常。
