上個世紀 40 年代，美國數學家和電子工程師克勞德?香農（信息理論之父）發現，在任何通信信道內，能夠準確無誤地傳輸數據的最大速度與噪聲和帶寬有關。他將這個最大比特率稱為“信道容量”，也就是目前眾所周知的“香農極限”。
香農定理 Shannon Equation
1948年，香農(Shannon)提出了信息論，導出了香農公式。
通信信道的香農極限(Shannon Limit)或香農容量(Shannon Capacity)是針對特定噪聲水平的信道的理論最大信息傳輸速率。
Capacity: The Maximum data rate can be reached in channel
其中，
B 表示測得的帶寬 (Hz)，
S 表示接收的信號平均功率 (W)，
N 表示平均噪聲功率 (W)。
信道容量可以通過增加帶寬或優化信噪比Signal-to-Noise Ratio (SNR = S/N) 來增加。 實際上，該定理給出了理論上的最大值，但沒有說明哪種信號概念可以讓我們最接近這一極限。
注意，S/N 是信號與噪聲的功率比，以比值表示，而不是以 dB 表示！
從香農公式可以看出，在其他條件不變的情況下，射頻信道帶寬翻倍，容量也會翻倍。
香農公式表明，信道帶寬限制了比特率的增加，信道容量還取決于系統信噪比以及編碼技術種類。
無線信道并不是可以任意增加傳送信息的速率，它受其固有規律的制約，就像城市道路上的交通狀況，受到道路寬度、車輛數量等因素影響。這個規律就是香農定理。
其結論為：
通常，把實現了極限信息速率傳送（即達到信道容量值）且能做到任意小差錯率的通信系統，稱為理想通信系統。香農只證明了理想通信系統的“存在性”，卻沒有指出具體的實現方法。先進的數字調制技術是實現更高系統容量的重要手段。一方面寬帶調制使B增大，不僅有效增加系統容量，而且提高抗干擾能力；另一方面數字調制和編碼結合提供更大的處理增益，使每個用戶需要的S/N下降，使通信容量增大。通信系統從模擬系統轉向數字系統，其中一個根本原因在于系統抗噪聲性能的好壞。
實際上，SNR 是基本的限制因數。無論在現在還是未來，它都需要不斷優化，因為當數據速率超過 100 Gbps 時，遠距離通信需要更好的信噪比性能才能在給定帶寬內達到香農極限。 Ellis、Zhao 和 Cotter 采用了實例參數來仿真與傳輸和檢測類型有關的信息頻譜密度 C/B （下圖）。對于非線性傳輸，信息頻譜密度不會隨著發射功率譜密度無限增長。由于功率放大器的飽和效應以及光纖本身的非線性效應，信息頻譜密度有一個最大值。這與傳輸介質是完全線性時的情況不同。
此圖清晰地說明，OOK 采用的直接檢測只能從幅度提取信息，在信息頻譜密度上無法與復合調制信號的相干檢測相提并論。 毫無疑問，不同類型的復合調制對您接近頻譜效率香農極限的程度有著根本性的影響。
答：香農定理限制的是：在給定帶寬和信噪比條件下，通信系統能達到的最大無差錯比特率上限。它不是“推薦速率”，而是任何系統都無法突破的物理極限。香農定理說的是： “最多能跑多快”，不是“應該怎么設計”。
答：不是。香農容量 (C) 指的是在任意低誤碼率下，信息可以通過通信信道傳輸的理論最大數據速率。香農容量是理論上限，實際系統必須留出冗余給：
工程上通常做到 香農極限的 60%–90%，已經非常優秀。
答：因為信息量隨信噪比是“對數增長”。這意味著：前 10 dB SNR 提升，容量增長很快，而后面每再加 10 dB，收益越來越小。所以后期提速靠堆功率，性價比極低。
答：根據香農-哈特利定理（C = B?log??(1 + S/N)), 信道容量 (C) 與帶寬 (B) 成線性關系，但與信噪比 (SNR) 僅成對數關系。這意味著，在系統支持的情況下，帶寬翻倍比信噪比翻倍更能提升信道容量。
通常來說，增加帶寬更能有效提升總數據容量（吞吐量），而提高信噪比（SNR）更能有效提升信號可靠性、清晰度和傳輸距離。
這就是為什么超低功耗系統（IoT）喜歡用寬帶 + 低速, 而高頻高速系統更依賴高階調制 + 編碼的原因。
答：16QAM 適用于高信噪比/良好信號條件：16QAM 每個符號發送 4 比特，頻譜效率高。由于 16QAM 的星座點間距很小，因此更容易受到噪聲干擾，需要更高的信噪比才能保持較低的誤碼率 (BER)。
QPSK 適用于低信噪比/較差信號條件：QPSK（4QAM）每個符號僅發送 2 比特，但由于星座點數量更少且間距更大，因此對噪聲具有較強的魯棒性。當信噪比過低，16QAM 無法有效工作時，通常會選擇 QPSK。
香農定理告訴我們能不能上高階調制，取決于 SNR 是否足夠支撐目標比特率。QPSK 和 16QAM 的選擇正是基于此定理，因為它們能夠有效地將數據比特映射到特定的可用 SNR 水平，從而在不超出信道容量的情況下最大化頻譜效率。如在 1?MHz 帶寬下，QPSK（2 bit/symbol）對 SNR 要求較低，而16QAM（4 bit/symbol）至少需要 ~12 dB 以上 SNR 才“有理論可能”。
答：對應的是比特率（bit/s），不是波特率。
香農定理是連接 波特率、SNR 與比特率上限 的橋梁。
答：頻譜干凈 ≠ 接近香農極限。一個“干凈”的頻譜噪聲低、干擾小、形狀清晰，這表明信道質量很高，但并不能保證信道得到了充分利用。
干凈的頻譜無法達到香農極限（理論最大速率），主要是因為香農極限是由時空范圍內的最大信噪比（SNR）決定的，而“干凈”的頻譜僅僅代表特定時刻或位置的低干擾狀態。干凈的頻譜并不等同于接近香農極限。
因為香農定理假設的是：
而現實系統存在：
所以：頻譜干凈 ≠ 接近香農極限。
對比表：“干凈頻譜（Clean）” vs “接近香農極限（Close to Shannon）”
答：沒有。多輸入多輸出 (MIMO) 技術并沒有“突破”或違反香農定理；相反，它在有效克服單輸入單輸出 (SISO) 系統限制的同時，也遵循了香農定理。
香農定理仍然成立，只是容量按空間維度疊加。MIMO 是改變了信道模型，如單天線是一個信道，多天線采用多個并行信道。
MIMO 與香農定理（Key Concepts: MIMO and Shannon's Theorem）
其中：
MIMO 是一種實際應用，它除了利用時間和頻率維度外，還利用空間維度，從而逼近香農理論容量極限。
答：意思是：在給定帶寬和 SNR 下，你的系統速率 已經非常接近物理允許的上限，再優化只能靠更復雜的編碼和更高功耗等。這通常是系統設計的“終點信號”。香農定理不是告訴你“怎么設計系統”，而是明確告訴你“什么永遠不可能做到”。
香農奇聞軼事
克勞德·埃爾伍德·香農（Claude Elwood Shannon，1916年4月30日—2001年2月24日）是一位博學多才的美國學者，集數學家、電氣工程師、計算機科學家、密碼學家和發明家于一身。他被譽為“信息論之父”，也是為信息時代奠定基石的人物。
香農率先闡述了布爾代數的應用——這對于所有的數字電子電路都至關重要——并協助開創了人工智能這一領域。
在密歇根大學就讀期間，香農修讀了雙學位，并于1936年同時獲得了電氣工程和數學專業的理學學士學位。
1937年，年僅21歲、正在麻省理工學院（MIT）攻讀電氣工程碩士學位的香農發表了題為《繼電器與開關電路的符號分析》（A Symbolic Analysis of Relay and Switching Circuits）的論文。該論文論證了通過布爾代數的電氣應用，可以構建出任何邏輯數值關系，從而確立了數字計算和數字電路背后的理論基礎。這篇論文被某些人譽為“有史以來最重要的碩士論文”，不僅被視為“數字革命的出生證明”，更開啟了香農畢生的學術生涯，并最終助他在1985年榮獲京都獎。
1940年，香農從麻省理工學院畢業，獲得了數學博士學位；他的博士論文聚焦于遺傳學領域，雖然其中包含了重要的研究成果，但最初并未公開發表。
第二次世界大戰期間，香農投身于美國的國防事業，為密碼分析領域做出了杰出貢獻。他的工作涵蓋了破譯密碼和安全通信等基礎性研究，并撰寫了一篇被公認為現代密碼學奠基之作的論文。人們評價他的工作是“一個轉折點，標志著古典密碼學的終結與現代密碼學的開端”。他的研究成果為對稱密鑰密碼學奠定了堅實的基礎，并對霍斯特·費斯泰爾（Horst Feistel）的研究、數據加密標準（DES）以及高級加密標準（AES）等后續發展產生了深遠影響。正因如此，香農被尊稱為“現代密碼學之父”。
他于1948年發表的論文《通信的數學理論》為信息論這一領域奠定了基礎；電氣工程師羅伯特·G·加拉格（Robert G. Gallager）將其譽為“數字時代的藍圖”，而《科學美國人》雜志則稱其為“信息時代的《大憲章》”。戈隆布（Golomb）將香農對數字時代的影響，比作“字母表發明者對文學領域所產生的影響”。香農也被公認為1948年之后對該理論做出最重要貢獻的人物。眾多科學學科的進步都得益于香農的理論——其中包括光盤的發明、互聯網的發展、移動電話的商業化應用，以及對黑洞的認知。他正式引入了“比特”（bit）這一術語，并且是脈沖編碼調制（PCM）技術以及首臺可穿戴計算機的共同發明人。此外，他還發明了信號流圖。
1951年，香農加入了中央情報局（CIA）的特別密碼學咨詢小組。從1956年到1978年，他一直在麻省理工學院（MIT）擔任教授。他在人工智能領域也做出了諸多貢獻，其中包括共同組織了1956年的達特茅斯研討會——該研討會被視為人工智能學科誕生的標志性事件——以及發表了一系列關于計算機象棋程序設計的論文。他研制的“忒修斯”（Theseus）機器是首個能夠通過試錯法進行學習的電子裝置，堪稱人工智能領域的早期典范之一。
圖 - 通用通信系統示意圖
香農是一位偉大的科學家，以一己之力為通信學科建立了扎實穩固的數學基礎。他最著名，也是影響力最大的論文莫過于“A Mathematical theory of Communication”。這篇論文是信息論的奠基之作。香農在這篇論文中還精確地定義了信源編碼和信道編碼等概念，提出了如下經典的通信系統數學模型，并得出了信源編碼定理和信道編碼定理等重要結果。
然而，就是這樣一篇具有跨時代意義的恢宏巨作，當年也未逃脫被拒稿的命運。在審稿意見里，審稿人毫不留情地嘲諷到：
IBM has decided to stay out of the electronic computing business, and this journal should probably do the same! （IBM 已決定退出電子計算業務，本刊或許也應效仿！）
以下是當年的審稿意見全文：
“本文立意薄弱，且過于抽象。目前尚不清楚它究竟能解決何種實際問題。作者聲稱“通信的語義層面與工程問題無關”，這似乎表明其理論主要適用于傳輸毫無意義的胡言亂語。然而遺憾的是，絕不會有人愿意花錢去傳輸這些廢話。
我不明白離散信源有何關聯：無論采取何種手段，歸根結底，信號最終都必須利用那些傳統的真空管進行調制，因此“信道”上的信號將始終是模擬信號。
如果能提供一個貫穿全文的示例，本演示文稿本會顯得更加清晰且不那么流于理論，但作者并未提供此類示例。此外，作者既未提供任何實現細節，也未展示源自實際應用的實驗數據。
致編輯的保密意見：本文唯一的絕對硬傷在于，它未能與當前學術界所熱衷的研究熱點產生足夠的“共鳴”。在任何特定的歷史時期，總會有備受追捧的“熱門”課題，也會有相對冷門的課題：以當下而言，“電視”便是熱門話題，而“彩色電視”更是熱門中的熱門。盡管具有有限符號集的離散信道非常適用于電報通信，但電報技術畢竟已有一百年的歷史，顯然已不再是一個理想的研究課題。
作者在文中提及了諸如近期問世的ENIAC（電子數字積分計算機）之類的計算機器。誠然，我承認理論上確實可以將此類機器相互連接；然而，IBM近期的一份內部備忘錄指出，在可預見的未來，僅需十幾臺此類機器，便足以滿足我們全部的計算需求。既然總共也只有十幾臺ENIAC，那又何來大規模的機器互聯應用可言呢！“
審稿人表示，這篇文章抽象又沒卵用，看不出跟任何實際問題有聯系，作者（香農）的理論似乎更適合于傳輸胡言亂語。他不理解離散信源，不管怎么處理信號，最后信號都要通過老式真空管調制?！靖吣艽蚰槨繉徃迦吮硎?，作者（香農）提到了最近的ENIAC計算機，而最近IBM的備忘錄提到，在可見的未來中，有十幾臺這樣的計算機就足夠了，所以作者（香農）的設想沒有現實意義。
香農看到上述可謂胡言亂語般的審稿意見時，心中或許真的是崩潰的。
但金子總會發光，這篇論文后來于1948年發表在“Bell System Technical Journal”上，發表后立刻在科學界和工程界引起極大反響。不到五年的時間，美國電氣與電子工程師學會就正式成立了信息論學科組，并于1954年出版了信息論匯刊。如今這篇文章的引用已經超過9萬次。
老鼠“忒修斯”
香農和他那只名為“忒修斯”（取自希臘神話中的英雄忒修斯）的機電老鼠——在人工智能領域的首批實驗之一中，他曾嘗試讓這只老鼠自行走出迷宮。
1950年，香農在其妻子貝蒂（Betty）的協助下，設計并制造了一臺名為“忒修斯”（Theseus）的學習機器。該裝置由一個平面迷宮構成，一只機械老鼠可在其中穿行。平面下方裝有傳感器（一套機電繼電器電路），用于追蹤機械老鼠在迷宮中的行進路徑。這只老鼠的設計初衷是能在迷宮的通道中進行搜尋，直至找到預設的目標點。一旦成功走完整個迷宮，即使隨后被重新放置在迷宮中此前曾到過的任何位置，它也能憑借先前的經驗直接徑奔目標而去。若被置于從未涉足過的陌生區域，它則會按照既定程序進行搜尋，直至抵達某個已知位置，隨后便繼續向目標進發；在此過程中，它會將新獲取的知識存入記憶庫，從而習得新的行為模式。經過反復的試錯與摸索，這臺裝置最終能夠掌握穿越迷宮的最短路徑，并據此引導機械老鼠走出迷宮。通過重新排列可移動的隔板，迷宮的布局可隨心所欲地進行更改。香農的這只老鼠似乎是同類裝置中首個具備人工智能學習能力的設備。
Mazin Gilbert 曾評價道：“‘忒修斯’激發了整個人工智能領域的發展。這種基于隨機試錯的學習模式，正是人工智能的基石所在。”
Minivac 601——由香農設計的數字計算機教學機
在學術研究之余，香農對雜耍、單輪車騎行和國際象棋也頗感興趣。他還發明了許多裝置，其中包括一臺名為 THROBAC 的羅馬數字計算機，以及各種雜耍機器。他甚至制造出了一臺能夠解開魔方的裝置。
此外，香農還發明了噴火小號、火箭動力飛盤，以及一種用于在湖面上行走的泡沫塑料鞋——穿上這雙鞋后，在旁觀者眼中，香農看起來就像是在水面上行走一般。
香農設計了 Minivac 601，這是一款數字計算機教學機，旨在向商務人士普及計算機的工作原理。該產品于1961年起由科學發展公司（Scientific Development Corp）負責銷售。
此外，香農還與愛德華·O·索普（Edward O. Thorp）一同被公認為首臺可穿戴計算機的共同發明人。該裝置被用于在玩輪盤賭時提高獲勝幾率。
