資訊理論
出自 MBA智库百科(https://wiki.mbalib.com/)
資訊理論（information theory）
目錄 |
資訊理論是運用概率論與數理統計的方法研究信息傳輸和信息處理系統中一般規律的新興學科。核心問題是信息傳輸的有效性和可靠性以及兩者間的關係。
資訊理論作為一門科學理論，髮端於通信工程。它具有廣義和狹義兩個概念：
狹義資訊理論是應用統計方法研究通訊系統中信息傳遞和信息處理的共同規律的科學，即研究概率性語法信息的科學；
廣義資訊理論是應用數學和其他有關科學方法研究一切現實系統中信息傳遞和處理、信息識別和利用的共同規律的科學，即研究語法信息、語義信息和語用信息的科學。
信息是事物及其屬性標識的集合
信息就是信息，信息是物質、能量、信息及其屬性的標示。
信息是確定性的增加。即肯定性的確認。
人們對於信息的認識和利用，可以追溯到古代的通訊實踐。中國古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號”，可以說是傳遞信息的原始方式。隨著社會生產的發展，科學技術的進步，人們對傳遞信息的要求急劇增加。到了20世紀20年代，如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。美國科學家N.奈奎斯特、德國K.屈普夫米勒、前蘇聯A.H.科爾莫戈羅夫和英國R.A.賽希爾等人，從不同角度研究信息，為建立資訊理論作出很大貢獻。1948年，美國數學家C.E.香農(被稱為是“資訊理論之父”)出版《通信的數學理論》，1949年發表《雜訊中的通信》，從而奠定了資訊理論的基礎。20世紀70年代以後，隨著數學電腦的廣泛應用和社會信息化的迅速發展，資訊理論正逐漸突破香農狹義資訊理論的範圍，發展為一門不僅研究語法信息，而且研究語義信息和語用信息的科學。它的建立是人類認識的一個飛躍。世界上各種事物都是充滿矛盾不斷發展的，物質的運動主要是靠內部矛盾運動所產生的能量，而事物之間的普遍聯繫則靠的是信息。信息是關於事物的運動狀態和規律，而資訊理論的產生與發展過程，就是立足於這個基本性質。資訊理論迅速滲透到各個不同學科領域，但還不夠完善。為了適應科學技術發展的需要，迎接信息化社會的到來，一門新的科學正在迅速興起，這就是廣義資訊理論，或者叫做信息科學。信息科學是由資訊理論、控制論、電腦、人工智慧和系統論等相互滲透、相互結合而形成的一門新興綜合性學科。信息科學登上現代科技舞臺，與能量科學、材料科學鼎足而立 ，將為科學技術的發展作出貢獻。
資訊理論內容包括信息熵、信源編碼、通道編碼、通道容量、信息失真率理論、信號檢測和估計等。
信息的度量是資訊理論研究的基本問題之一。對於應用範圍如此廣泛的信息提出一個統一的度量是困難的。美國數學家C.E.香農在1948年提出信息熵作為信息量的測度。根據人們的實踐經驗，一個事件給予人們的信息量多少，與這一事件發生的概率(可能性)大小有關。一個小概率事件的發生，如“唐山發生七級以上大地震”使人們感到意外，它給人們的信息量就很多。相反一個大概率事件的出現，如“12月15日北京未下雪”給人們的信息量就很少。因此,用I(A)=- logP(A)〔P(A)表示事件A發生的概率〕來度量事件A給出的信息量，稱為事件A的自信息量。若一次試驗有M個可能結果(事件)，或一個信源可能產生M個消息（事件）,它們出現的概率分別為
,則用
來度量一次試驗或一個消息所給出的平均信息量。當對數取 2為底時,單位為比特；當對數取e為底時,則單位為奈特。H的表達式與熵的表達式差一個負號，故稱負熵或信息熵。
信息傳輸系統主要由信源、通道和信宿組成，下圖為信息傳輸系統的基本模型。信源是產生消息的系統。信宿是接受消息的系統，通道則是傳輸消息的通道。圖中編碼器、解碼器的作用是把消息變換成便於傳輸的形式。
信源是產生消息（包括消息序列）的源。消息通常是符號序列或時間函數。例如電報系統中的消息是由文字、符號、數字組成的報文（符號序列），稱為離散消息。電話系統中的消息是語聲波形(時間函數)，稱為連續消息。消息取值服從一定的統計規律。因此,信源的數學模型是一個在信源符號集中取值的隨機變數序列或隨機過程。信源編碼器將消息變換為一個數字序列(通常為二進位數字序列)。在離散情形,若信源產生M個可能消息,它們出現的概率分別為,每個消息由N個信源符號組成,便可取信源編碼與數字序列一一對應。第i個消息對應的數字序列長(數字個數)為li，li相等的稱等長編碼，否則稱變長編碼。定義
為編碼速率，它表徵平均每個信源符號要用多少個數字來表示。若取信源解碼器為信源編碼器的逆變換器，則在無噪通道(信源編碼器的輸出即為信源解碼器的輸入) 情況下，消息可以正確無誤地傳送。這時信源編碼問題是要找出最小的速率R及其相應的編碼。已經證明,對於相當廣泛的信源類,當N可以任意大時這個最小極限速率
稱為信源的熵率,是信源的一個重要參數。對於固定的N,最優編碼就是赫夫曼編碼。在連續消息的情形，信息編碼器不可能使消息與數字序列一一對應，因此解碼也不是編碼的逆變換。通常的方法是先對連續消息進行採樣和量化，變為離散消息，再將離散消息變換為數字序列。信源解碼器先將數字序列逆變換為離散消息，再用內插法求得連續消息。這樣一來，即使在無噪通道的情況下，發送消息與接收消息之間也會產生誤差，稱為消息失真。可以用一個非負函數d(u，v)來度量消息 u，v之間的失真大小。這時信源編碼問題是在保證平均失真不超過給定允許極限D 的條件下找出最小速率R 及其相應編碼。求解這一問題導致熵推廣到失真率函數，信源編碼的失真率理論因而得到發展。
通道是傳輸信息的媒質或通道，如架空明線、同軸電纜、射頻波束、光導纖維等。有時為研究方便將發送端和接收端的一部分如數據機也劃歸通道。資訊理論把信息傳送過程中受各種干擾的影響都歸入通道中考慮。根據干擾的統計特性,通道有多種模型。最簡單的是離散無記憶恆參通道，它可以用通道入口符號集X、出口符號集Y和一組條件概率P(y|x)(x∈X，y∈Y)來描述。若通道輸入信號x＝(x1,x2,…,xN),則相應的輸出(受擾)信號y＝(y1,y2,…,yN)出現的概率為
通道編碼器將數字序列每K個一組變換為字長N 的信號（碼字），稱為分組編碼。若數字和通道符號都是二進位的(可用0,1表示)，則R＝K/N 定義為編碼速率，它表明每個通道符號表示多少個數字。N-K 稱為編碼冗餘度。通道編碼(糾錯編碼)的基本思想就是增加冗餘度以提高可靠性。更確切地說，通道解碼器可以利用編碼冗餘度將受擾信號變換為正確的發送數字序列。重覆編碼乃一簡例。通道編碼器將輸入數字重覆三次, 如將01011變換為000111000111111。通道解碼器可用門限解碼，即先將輸入解碼器的通道符號每三個一組地相加，再將結果逐個與閾值 2比較,小於閾值2的譯為0,否則譯為1。這樣若受擾信號010110100011011雖然錯了 5個符號,但解碼仍為01011與發送數字序列完全相同。資訊理論得出的重要結論是:對於一個有噪通道,只要在通道編碼中引入足夠而有限的冗餘度，或等價地說編碼速率足夠小，就能通過通道漸近無誤地傳送消息。更確切地說，對充分長的數字序列，其接收錯誤概率可以任意小。通道編碼問題是要找出使通道漸近無誤地傳輸消息所能達到的最大編碼速率R和相應的編碼。已經證明，對於離散無記憶恆參通道，這個最大極限編碼速率為
，它是對X上一切概率分佈 p取極大值。p為通道轉移概率(條件概率)，
稱為交互信息；C 稱為通道容量，是通道的重要參數。
對圖中的信息傳輸系統，若啛/TS＜C/TC，其中啛為信源的熵率，C為通道容量,TS和TC分別為信源符號和通道符號的持續時間，則一定存在編碼和解碼使消息可通過通道漸近無誤地傳送。反之,若啛/TS＞C/TC，則不存在這樣的編碼和解碼。
資訊理論研究的主流始終是圍繞這個基本定理展開的，只是信源和通道的模型更複雜而已。上述定理是實際存在的,但沒有給出實現這一理想傳輸的具體編碼方法。尋找實現這一理想傳輸的編碼和解碼方法則是編碼理論研究的目標。雖然這一目標至今尚未達到，但資訊理論的研究成果對設計新通信系統的作用是人們所肯定的。
資訊理論的意義和應用範圍已超出通信的領域。自然界和社會中有許多現象和問題，如生物神經的感知系統、遺傳信息的傳遞等，均與資訊理論中研究的信息傳輸和信息處理系統相類似。因此資訊理論的思想對許多學科如物理學、生物學、遺傳學、控制論、電腦科學、數理統計學、語言學、心理學、教育學、經濟管理、保密學研究等都有一定的影響和作用。另一方面，由於藉助負熵定義的信息量只能反映符號出現的概率分佈（不肯定性），不能反映信息的語義和語用層次。一篇重要的報告和一篇胡說亂道的文章可以具有同樣的信息，這顯然不符合常識。因此現階段資訊理論的應用又有很大的局限性。把信息的度量推廣到適合於語義信息和語用信息的情況，曾經做過許多嘗試。但至今還沒有顯著的進展。
thanks