信息論有狹義和廣義的區別。狹義的信息論是應用數理統計方法來研究信息處理和信息傳遞的科學,它研究存在於通訊和控制系統中普遍存在著的信息傳遞的共同規體,以及如何提高各信息傳輸系統的有效性和可能性的一門通訊理論。狹義信息論是申農氏於1948年創立的,其主要內容就是研究信源、信宿、傳遞及編碼問題,因此它主要應用於通訊工作。後來信息論發展很快,將申農氏信息論的觀點做為研究一切問題的理論,即廣義信息論。信息論是建立在信息基礎上的理論,所謂信息,即人類憑借感覺器官感知的周圍一切變化,都可稱作信息。
實踐證明,世界上一切事物都在運動變化之中,在這種運動和變化之過程中,就會發出各種各樣的信息,內部的變化可以反映到外部,外部的表現反映內在的實質;整體的變化可以反映於局部,局部的變化影響整體。人類在世界上生存,就必須認識信息、利用信息,否則就無法生存,例如預防和躲避自然災害、發明創造工具、發展生產、科學試驗等等,都是受某些信息的啟示。戰爭更離不開信息,例如我國周代已利用烽火台傳遞戰爭的信息。凡此種種,一言以蔽之,從有人類的那一天開始,人類就生活在信息的海洋裡,一時一刻也離不開信息,而關鍵的問題就是如何認識信息,利用信息,以改變自己的生存條件、創造更好的生活環境。人類正是根據世界環境的變化,由大腦作出調整自己行動的方式,改變自己與自然界鬥爭的策略,因此人類始終著眼於信息,信息論的觀點就是把人作用於外界的行為歸納為信息和信息的反饋過程,人類所以能夠保證正常的生活狀態,不斷地改善生活條件,就是人類具有取得、使用、保持和傳遞信息的能力,這種認識和利用信息的能力和其他問題一樣,都是從簡單到複雜,從表面到深入,不斷地向信息的深度和廣度進軍。
人類有獲取信息的權力,但信息並不為人類所獨享,其他生物也同樣有認識和利用信息的本能,俗話說「人有人言,獸有獸語」,就是這個意思。其他如某些動物的保護色,獵取食物等等,都是認識信息、利用信息的表現。植物也有自己的信息感,如生物鐘,實際上也是對信息的反映。因此可以說,世界上一切生物無不與信息有關,所不同的,即人類對信息的認識和利用要比其他生物更廣泛、更深人,並引進創造的航船,而其他生物僅僅為了生存面已。
人類需要信息,而且還要傳遞信息,語言的作用就是傳遞信息,也是最好的信息傳遞方法,但是語言因受距離的限制,超出聲音的可達範圍即失去傳遞的作用,又易受外界噪音的干擾,於是人類又發明了文字,文字也是傳遞信息的一種方式,但亦有一定的局限性,因而人類叉不斷地創造許許多多的信息傳遞方法。傳遞信息的目的是為了做出合理的決策,儘管人類對信息的認識、利用源遠流長,即信息反饋。但真正對信息理論的研究,僅僅只有半個多世紀的歷程,其突破點首先是從信息傳遞方法開始的。1922年卡橙闡明了邊帶問題理論,提出信號保護法則,即信號在調製(編碼)過程中頻譜展寬法制。可以說是信息論的先導。
1921年美國奈奎斯特和德國的開夫曼爾證實了卡松的理論。1928年,哈特萊發表了《信息傳輸》,首先提出了消息是代碼、符號、序列,而不是內容本身,這就排除了主觀的成分,實現了概念上的突破。他還第一次提出了信息量的概念,並企圖用數字公式加以描述,為信息的傳遞找到了理論根據,對於信息論的創立起到促進作用。1938年美國人莫爾斯發明了高效率編碼電報法,人類終於找到了比較先進的遞訊工具。1940年二次大戰中,由於通訊在軍事上的重要意義,美國人申農開始從事信息論的研究。1945年波特發表了《聲音的可視圖形》。1947年他又與柯普等人著《可視語言》,為此信息論的創立條件日臻成熟。1948年申農發表《通訊的數學理論》。從而宣告信息論的創立。申農信息論的主要內容是研究信源、信宿、信道及編碼問題。戰後,由於通訊事業的需要和電子技術的飛速發展,促進了信息論的進一步發展,許多國家的學者對此進行了大量的研究工作,並卓有成就。
由於信息論的成就,給許多學科帶來了希望之光,人們試圖應用信息的基本理論解決諸如組織化、語義化、聽覺、神經學、生理學、心理學中一些難以解決的問題。1950年在英國倫敦召開了信息論會議,收到論文20多篇,其中有6篇是關於信息論在心理學和神經生理學的應用。1951年美國無線電工程學會承認了信息論這門新學科,建立了信息論學組。1955年在倫敦舉行的第三屆信息論會議上,已涉及到解剖學、動物保健學、神經生理學、神經精神學、心理學。1956年申農氏對信息論的發展前途說:「對於像心理學、經濟學等一些領域,信息論的許多概念會有用的。」
50年代英國人E·C切爾利還對信息做了歷史性的考察,發表了《信息理論史》和《人類遞訊》二文。50年代是信息論向各門科學衝擊的時期,法國旅美物理學家L.布裡淵把信息學推廣到物理學領域,他發表的《生命-熱力學和控制論》認為:「為了能把類似的概念可靠地應用於有關生命和智力的基本問題上,除了舊的古典的物理熵概念外,還需要一些大膽的新的推廣和概括。」1956年他又出版了《科學與信息論》,力圖把信息與具體物理過程聯繫起來,把信息熵與熱力學熵直接聯繫起來,並提出「信息的負熵原理」,認為信息與負熵等價。1979年卡克根據這一原理對人腎化學自穩態功能的效率進行探討,得出了較切實際的數值。
60年代是在信息論已有的基礎上,進行重大建設時期,研究的重點是信息和信源編碼問題,這一時期把信息論推廣應用於生物學,神經生理方面的是美國的艾什比,他指出「信息論在本質上是組合論的一個分支,它的本質基本上是一種數數」。60年代人們把信息分成狹義信息論、一般信息論和廣義信息論三種。
70年代由於數字計算機的廣泛應用,通訊系統的能力也有很大提高,如何更有效地利用和處理信息,成為日益迫切的問題,人們越來越認識到信息的重要性。信息的概念和方法已廣泛滲透到各個科學領域,它迫切要求突破申農信息論的狹隘範圍,以便推動許多新興學科的進一步發展。70年代在信息傳輸方面取得了新進展,出現了幾類新信況下的信源和信道編碼定理。伯格寫了一本相當完整的專論信源和編碼的書。在語義問題和有效性方面,1971年高艾斯等提出「有效信息概念」。1978年經復爾馬等人的修正可加性基礎上,推廣為非可加性的「廣義有效信息」。還有卡爾納普等提出的「語義信息」、哥廷格爾的「無概率信息」、傑馬裡的「相對信息」等等。1965年查德提出模糊數學後,有人在模糊集合論基礎上建立起「熵」和信息的概念,進一步試圖建立「模糊信息論」,還有人根據計算機中的信息問題,設想建立「算法信息論」。在自然科學和哲學界,有人把信息作為基本的參量來研究,他們認為形式、結構,關係及類似的東西,比物質和能量更為基本些,而這些差異結構和關係正是用信息來表徵的。
總之,近十年來的進展,已遠遠突破了申農信息論的範圍,正如意大剝學者朗高在1975年發表的《信息論、新方向和未解決的問題》一文中指出的那樣:「曾被申農在他的貢獻中所審慎排除的東西,現在又被包含了進來」。目前人們已將信息論廣泛應用於物理、化學、生物學、心理學、管理學等學科,一門研究信息的科學正在形成。