シャノンの通信路容量定理 — どれだけ送れるかを決める絶対的な壁

この回で学ぶこと

これまでの回で、私たちはPCM/PSK/PMという変調方式を数式で追い、BPSKのビット誤り率が $P_b = Q(\sqrt{2E_b/N_0})$ で与えられること、そして変調指数 $\Delta$ が搬送波とデータの間で電力を奪い合うトレードオフを生むことを見てきました。これらはすべて「与えられた変調方式・与えられた符号化方式のもとで、誤り率がどうなるか」を計算する話でした。

しかし、もっと根源的な問いが背後に潜んでいます。そもそも、雑音まみれの通信路を通して、どれだけの情報を、どれだけの誤り率で送ることができるのか。 これは変調方式の選び方以前の問題であり、いわば通信工学という学問全体が答えようとしてきた最大の問いです。

この問いに1948年、決定的な答えを与えたのがクロード・シャノン(Claude Shannon)です。シャノンの通信路容量定理は、「通信路には $C$ という(帯域幅と雑音だけで決まる)一つの数があり、伝送レート $R$ が $R < C$ を満たす限り、誤り率をいくらでも小さくできる符号が(原理的には)存在する。逆に $R > C$ なら、どんなに工夫しても誤り率を一定以下に下げることはできない」という、驚くべき主張をします。

この回では、加法性白色ガウス雑音(AWGN)通信路に対するこの容量公式

$$C = B\log_2\!\left(1+\frac{S}{N}\right) \quad [\text{bit/秒}]$$

を、信号空間における球充填的な議論から直感的に導き、この公式が深宇宙通信の設計思想全体をどう規定しているかを見ていきます。特に、深宇宙リンクが「帯域は使えるが電力が絶望的に乏しい」という電力制限領域に位置することを明らかにし、実際の変調・符号化方式がこの理論限界からどれだけ離れているかを表す「シャノン限界からのギャップ」という考え方を導入します。これは、次回以降に学ぶLDPC符号やターボ符号がなぜ深宇宙通信の歴史における一大転換点だったのかを理解するための土台になります。

直感的導入 — なぜこれが驚くべき結果なのか

シャノンの結果がどれほど直感に反するものだったか、まず感じてみましょう。

雑音のある通信路を考えると、素朴には「雑音がある以上、誤りは避けられない。誤り率をゼロに近づけようとすれば、伝送レートもゼロに近づけるしかないのでは」と思うかもしれません。実際、1948年以前の通信工学の常識はおおむねこれに近いものでした。誤り率を下げたければゆっくり送るしかない、という考え方です。

シャノンが示したのはこれとはまったく異なる主張でした。通信路には有限の正の値 $C$ が存在し、伝送レート $R$ がこの $C$ より小さくさえあれば、十分に長い符号語を使うことで誤り率をどれだけでも(理論上ゼロに)近づけられる。 誤り率を下げるためにレートをゼロに近づける必要はなく、$R<C$ という条件さえ満たしていれば、あとは符号化の工夫(長い符号語、賢い誤り訂正)だけで誤り率をいくらでも下げられるのです。

これは「なぜ賢い誤り訂正符号を設計する価値があるのか」という問いへの理論的な裏付けそのものです。$C$ という天井さえ超えなければ、あとは符号化技術の腕の見せどころであり、実際に後続の回で学ぶLDPC符号やターボ符号は、まさにこの「$C$ にどこまで近づけるか」を追求した成果です。

以下では、この $C$ が具体的にAWGN通信路でどんな値を取るのかを、信号空間の幾何学的なイメージを使って導いていきます。

AWGN通信路容量の導出 — 信号空間の球充填的議論

厳密な証明は情報理論の教科書(Shannon 1948年の原論文や、Cover & Thomasの教科書)に譲り、ここではなぜ $C=B\log_2(1+S/N)$ という形になるのかを、幾何学的なスケッチで追います。

標本化と信号空間の次元

帯域幅 $B$ に制限された信号を、時間 $T$ 秒間だけ観測するとします。標本化定理により、この信号は

$$n = 2BT$$

個の実数値の標本(サンプル)で完全に記述できます。つまり、長さ $T$ 秒の帯域制限信号は、$n$ 次元のユークリッド空間の1つの点 $\mathbf{x} = (x_1, x_2, \dots, x_n)$ として表現できるということです。これが「信号空間」の考え方の出発点です。

送信信号は球の中に閉じ込められる

送信信号の平均電力が $S$ に制限されているとします。すると、$T$ 秒間に費やせる総エネルギーは $ST$ であり、これが $n$ 個の標本に分配されるので、送信ベクトル $\mathbf{x}$ のノルムの2乗はおおよそ

$$\|\mathbf{x}\|^2 \approx nS$$

程度に収まります。つまり送信され得るすべての信号点は、原点を中心とする半径 $\sqrt{nS}$ の $n$ 次元球の中に(ほぼ)収まっていることになります。

雑音ベクトルは薄い球殻に集中する

通信路は加法性白色ガウス雑音を加えます。標本ごとに独立な雑音が加わり、帯域幅 $B$ の中の雑音電力を $N$(具体的には片側雑音電力スペクトル密度 $N_0$ を使って $N = N_0 B$)とすると、雑音ベクトル $\mathbf{z}=(z_1,\dots,z_n)$ の各成分は独立同分布のガウス確率変数です。大数の法則により、$n$ が大きいとき

$$\|\mathbf{z}\|^2 \approx nN$$

という値のまわりに高い確率で集中します(これは「集中不等式」と呼ばれる現象で、次元 $n$ が大きいほど、球のごく薄い殻の近くにほとんどの確率質量が集まるという、高次元幾何学に特有の性質です)。

つまり受信ベクトル $\mathbf{y} = \mathbf{x} + \mathbf{z}$ は、送信点 $\mathbf{x}$ を中心とする半径およそ $\sqrt{nN}$ の薄い球殻の近くに、高い確率で現れます。

球充填問題への帰着

受信機が正しく復号するためには、異なる送信語 $\mathbf{x}_1, \mathbf{x}_2, \dots$ に対応する「受信されうる領域」(半径 $\sqrt{nN}$ の球)同士が、互いに重ならないようにする必要があります。重なってしまうと、その領域に落ちた受信点がどちらの送信語から来たのか区別できなくなるからです。

一方で、雑音を含めた受信ベクトル全体のエネルギーは $S+N$ 程度になるため、すべての「受信されうる領域」は、原点を中心とする半径 $\sqrt{n(S+N)}$ の大きな球の中に収まっています。

したがって問題は、半径 $\sqrt{n(S+N)}$ の大きな球の中に、互いに重ならない半径 $\sqrt{nN}$ の小さな球を、最大いくつ詰め込めるかという球充填問題に帰着します。$n$ 次元球の体積は半径の $n$ 乗に比例する($\mathrm{Vol}(r) = C_n r^n$、$C_n$ は次元だけで決まる定数)ので、詰め込める球の個数 $M$ の上限は体積比で押さえられます。

$$M \le \frac{\mathrm{Vol}\big(\sqrt{n(S+N)}\big)}{\mathrm{Vol}\big(\sqrt{nN}\big)} = \left(\frac{\sqrt{n(S+N)}}{\sqrt{nN}}\right)^{n} = \left(1+\frac{S}{N}\right)^{n/2}$$

区別可能なメッセージの個数 $M$ が多いほど、送れる情報量は多くなります。$M$ 個のメッセージを区別できるということは $\log_2 M$ ビットの情報を伝えられるということなので、

$$\log_2 M \le \frac{n}{2}\log_2\!\left(1+\frac{S}{N}\right) \quad [\text{bit}]$$

容量公式への帰着

この $\log_2 M$ ビットは、$n=2BT$ 個の次元(標本)を使い、$T$ 秒かけて送った情報量です。したがって、単位時間あたりに送れる情報量、すなわち通信路容量 $C$ は、

$$C = \frac{\log_2 M}{T} \le \frac{1}{T}\cdot\frac{n}{2}\log_2\!\left(1+\frac{S}{N}\right) = \frac{2BT}{2T}\log_2\!\left(1+\frac{S}{N}\right) = B\log_2\!\left(1+\frac{S}{N}\right)$$

こうして、有名なシャノン=ハートレーの通信路容量公式

$$\boxed{C = B\log_2\!\left(1+\frac{S}{N}\right) \quad [\text{bit/秒}]}$$

が得られます。ここで示したのは「これ以上のレートでは誤りなく送れない」という上界(逆定理、converse)の直感的なスケッチです。シャノンの定理の真にすごいところは、この上界が達成可能でもあること、つまり $R<C$ を満たすレートであれば、十分に長い符号語とランダム符号化・典型系列に基づく議論(順定理、achievability)によって、誤り率をいくらでも小さくできることを証明した点にあります。この順定理の証明には測度論的な議論(漸近等分割性、AEP)が必要になるため、ここでは踏み込まず、参考文献に譲ります。

帯域幅制限領域と電力制限領域

容量公式 $C=B\log_2(1+S/N)$ を眺めると、$B$ と $S$ という2つの資源が対称に見えます。しかし実は、この2つの資源に対する容量の「効き方」はまったく非対称です。これを2つの極限で確認しましょう。

帯域幅制限領域(高SNR極限)

$S/N \gg 1$(信号電力が雑音電力より十分大きい)の場合、

$$C \approx B\log_2\!\left(\frac{S}{N}\right)$$

このとき $C$ は $B$ に比例して増える一方、$S$ に対しては対数的にしか増えません。電力を2倍にしても容量はわずかしか増えないが、帯域幅を2倍にすれば容量もほぼ2倍になる、という状況です。地上の有線・無線通信のように、電力にはあまり困らないが使える周波数帯域(スペクトル)が希少資源であるような通信路は、この帯域幅制限領域で動作しています。

電力制限領域(低SNR極限)

逆に $S/N \ll 1$(雑音電力が信号電力よりずっと大きい)の場合、$\ln(1+x)\approx x$($x$ が小さいとき)を使うと、

$$C = B\log_2\!\left(1+\frac{S}{N}\right) = \frac{B}{\ln 2}\ln\!\left(1+\frac{S}{N}\right) \approx \frac{B}{\ln 2}\cdot\frac{S}{N}$$

ここで $N=N_0 B$ を代入すると、

$$C \approx \frac{B}{\ln 2}\cdot\frac{S}{N_0 B} = \frac{S}{N_0 \ln 2}$$

帯域幅 $B$ がきれいに分子・分母から消えてしまうことに注目してください。つまり低SNR極限では、容量はもはや帯域幅にほとんど依存せず、$S/N_0$(信号電力と雑音電力スペクトル密度の比)だけで決まってしまいます。どれだけ帯域幅 $B$ を広げても、容量はある有限の値

$$C_\infty = \lim_{B\to\infty} B\log_2\!\left(1+\frac{S}{N_0 B}\right) = \frac{S}{N_0\ln 2}$$

に飽和し、それ以上は増えません。電力 $S$ こそが容量を支配する唯一の資源であるような通信路は、この電力制限領域で動作しています。

深宇宙リンクはなぜ電力制限領域にあるのか

深宇宙探査機との通信は、この2つの領域のうち明らかに電力制限領域に属します。理由は変調損失の回で見た数値からも明らかです。

• 探査機の送信電力はわずか数十W程度(変調損失の回の例では $P_T=20$ W)。
• 自由空間損失は火星程度の距離でも約278 dBという桁外れの大きさで、PLLの回で触れたように地上局が受信する電力は $10^{-16}$ W を下回ることすらあります。

つまり $S$(受信電力)は絶望的に小さく、$S/N \ll 1$ が常態です。一方で、Xバンドやその上のKaバンドなど、探査機が使える無線周波数帯域そのものは(地上の混雑したスペクトル状況と比べれば)比較的余裕があります。この「帯域は(相対的には)使えるが、電力が桁違いに乏しい」という状況こそが、電力制限領域の典型例です。

この事実は設計思想に直結します。帯域幅制限領域では帯域を増やす・高次変調(多値QAMなど)で1シンボルあたりの情報量を増やすことが効果的ですが、電力制限領域では帯域を増やしても容量はほとんど増えません。深宇宙通信で意味を持つのは、限られた $S/N_0$ から、符号化によってできる限り $C_\infty = S/(N_0\ln 2)$ に近いレートを引き出すことです。これが、次回以降に学ぶLDPC符号・ターボ符号のような低符号化率・広帯域拡散型の誤り訂正符号が深宇宙通信で好んで使われる理由の背景にあります。

$E_b/N_0$のシャノン限界 — なぜ$-1.6$ dBなのか

ここまでの議論を、これまでの回で使ってきた $E_b/N_0$(1ビットあたりのエネルギー対雑音密度比)という尺度で書き直してみましょう。この尺度に落とし込むことで、変調・符号化方式の性能を横断的に比較できるようになります。

スペクトル効率を $\eta \equiv R/B$(1Hzあたり何ビット送れるか、単位 bit/s/Hz)と定義します。信号電力 $S$ は、1ビットあたりのエネルギー $E_b$ とビットレート $R$ を使って $S = E_b R$ と書けます(単位時間あたりに $R$ ビット分のエネルギー $E_b$ を送り続けているので、平均電力は $E_b R$)。また $N = N_0 B$ でした。これらを容量公式 $R < C = B\log_2(1+S/N)$ に代入すると、

$$R < B\log_2\!\left(1+\frac{E_b R}{N_0 B}\right)$$

両辺を $B$ で割り、$\eta = R/B$ を使うと、

$$\eta < \log_2\!\left(1+\eta\,\frac{E_b}{N_0}\right)$$

これを $E_b/N_0$ について解くと、

$$2^{\eta} - 1 < \eta\,\frac{E_b}{N_0} \quad \Longrightarrow \quad \frac{E_b}{N_0} > \frac{2^{\eta}-1}{\eta}$$

これがシャノン限界曲線と呼ばれる、スペクトル効率 $\eta$ の関数としての最小必要 $E_b/N_0$ を与える式です。信頼できる通信を行うには、どんな変調・符号化方式を使おうとも、この不等式を満たす $E_b/N_0$ が必要です。

帯域幅を無限に広げる極限

ここで、帯域幅をどんどん広げていく極限($\eta = R/B \to 0$、同じビットレート $R$ を、ますます広い帯域に薄く広げていく)を考えます。$x=\eta$ が小さいときの近似 $2^x - 1 = x\ln 2 + O(x^2)$(テイラー展開)を使うと、

$$\lim_{\eta\to 0}\frac{2^\eta-1}{\eta} = \ln 2 \approx 0.693$$

したがって、

$$\frac{E_b}{N_0} > \ln 2 \approx 0.693 \quad \Longrightarrow \quad \left(\frac{E_b}{N_0}\right)_{\text{dB}} > 10\log_{10}(\ln 2) \approx -1.59\ \text{dB}$$

これが有名なシャノン限界(絶対限界)$E_b/N_0 = -1.6$ dB です。この値の意味は、「帯域幅を無限に(=スペクトル効率をゼロに)広げてよいなら、$E_b/N_0$ がこの値さえ上回っていれば、原理的には誤りなく通信できる」という、あらゆる変調・符号化方式に対する絶対的な下限です。これを下回る $E_b/N_0$ では、どんなに巧妙な符号を使っても、帯域幅をいくら広げても、誤り率をゼロに近づけることは不可能です。

シャノン限界からのギャップ

さて、この理論限界と、実際に使われている変調・符号化方式の性能を比べてみましょう。この差を**シャノン限界からのギャップ(gap to capacity)**と呼び、符号化方式の優劣を測る共通のものさしとして使われます。

無符号化BPSKとの比較

PCM/PSK/PMの回で見たように、無符号化(誤り訂正符号なし)のBPSKでビット誤り率 $P_b=10^{-5}$ を達成するには、変調損失の回の数値例でも使った通り、およそ $E_b/N_0 \approx 9.6$ dB が必要でした。

ここで注意すべきは、比較の仕方に2種類あるということです。

1. 同じスペクトル効率での比較。 無符号化BPSKはおおむね $\eta=1$ bit/s/Hz(1シンボルに1ビット、ナイキスト帯域幅相当)で動作しています。シャノン限界曲線に $\eta=1$ を代入すると、$E_b/N_0 > (2^1-1)/1 = 1$、dBで $0$ dB。つまり同じ $\eta=1$ で比較した場合、無符号化BPSKの $9.6$ dBとシャノン限界の $0$ dBの差、約9.6 dBのギャップがあります。
2. 帯域無限大の絶対限界との比較。 先に求めた $-1.6$ dBという絶対限界と比べると、ギャップは $9.6-(-1.6)=11.2$ dBまで広がります。ただしこれは「スペクトル効率をゼロまで下げてよい」という、無符号化BPSKとは条件の異なる比較であることに注意してください。

深宇宙通信は前節で見た通り電力制限領域で動作するため、実際に使われる誤り訂正符号は符号化率を低く(1/2、1/3、1/6など)取り、意図的にスペクトル効率 $\eta$ を1より小さくして、より $-1.6$ dBに近い側で戦います。したがって、深宇宙通信の符号設計を評価する際には、絶対限界 $-1.6$ dBの方がより実務的な基準になります。

符号化研究はギャップを埋める歴史だった

深宇宙通信の誤り訂正符号の歴史は、まさにこの「シャノン限界とのギャップをどれだけ縮められるか」の歴史でした。

• 1970〜80年代、ボイジャーなどで使われた畳み込み符号とリード・ソロモン符号を連接した符号(いわゆるOdenwalder連接符号)は、無符号化に対して数dBの符号化利得を得ましたが、シャノン限界とのギャップはまだ数dB残っていました。
• 1993年、C. Berrou らが発表したターボ符号は、その論文タイトルが文字通り “Near Shannon Limit Error-Correcting Coding” (シャノン限界に近い誤り訂正符号化)であったことが象徴するように、長い符号語と反復復号を使って、シャノン限界からわずか1dB程度にまで迫る性能を実現し、符号化理論の世界に衝撃を与えました。
• LDPC符号(低密度パリティ検査符号)も、1960年代にGallagerが提案しながら長らく忘れられていたものが1990年代に再発見され、ターボ符号と並んで、あるいはそれ以上に、シャノン限界に迫る性能と、より低い復号演算量を両立する符号として脚光を浴びました。

つまり、シャノン限界という「動かない絶対的な壁」が最初から分かっていたからこそ、「あと何dBあれば壁に届くか」という具体的な目標のもとに符号化理論の研究が数十年にわたって進められてきた、と言えます。次回以降に学ぶLDPC符号・ターボ符号は、まさにこの「壁への挑戦」の到達点として理解することができます。

実務での使われ方

CCSDSは誤り訂正符号の標準を CCSDS 131.0-B (TM Synchronization and Channel Coding) として規定しており、この中にターボ符号(符号化率1/2, 1/3, 1/6)とLDPC符号(AR4JA符号族など)の仕様が含まれています。これらの符号は、適切な符号長・符号化率を選んだ場合、目標ビット誤り率(たとえば $10^{-5}$〜$10^{-6}$)においてシャノン限界からおよそ1dB前後にまで迫る性能を持つことが知られています。

実際のミッション運用では、この「シャノン限界に対するギャップ」が小さいほど、同じ送信電力・同じアンテナ設計でより高いデータレートを実現できる、あるいは同じデータレートをより小さな送信電力・より小さな地上局アンテナで実現できることを意味します。数dBの符号化利得の差は、ミッションの科学データ取得量やアンテナ設計、ひいては探査機のコスト全体に直結する実務上のインパクトを持ちます。

NASAのJPLやESA、JAXAといった深宇宙運用機関が、ターボ符号・LDPC符号の採用や、その後継となるより高性能な符号(たとえばシャノン限界にさらに肉薄する符号設計)の研究を続けているのは、この「限界にどこまで近づけるか」というゲームが、探査機1機あたりに積める送信機の電力や搭載できるアンテナの大きさが物理的に制約される深宇宙ミッションにおいて、直接的な実利をもたらすからです。DSN Telecommunications Link Design Handbook (810-005) のリンクバジェット表にも、採用する符号ごとの「必要 $E_b/N_0$」と、それがシャノン限界からどれだけ離れているかという評価が、符号選定の判断材料として組み込まれています。

演習問題

1. 帯域幅 $B=1$ MHz、信号電力対雑音電力比 $S/N=0.1$(すなわち $-10$ dB)のAWGN通信路の通信路容量 $C$ をbit/秒で計算してください。この値が、同じ $S/N$ でも帯域幅を $B=10$ MHzに広げた場合と比べてどう変化するか(ヒント: この $S/N$ は電力制限領域と帯域幅制限領域のどちらに近いか、考えてから計算してください)。

2. $2^\eta - 1 = \eta\ln2 + O(\eta^2)$(テイラー展開)を使って、$\displaystyle\lim_{\eta\to 0}\frac{2^\eta-1}{\eta}=\ln 2$ となることを示し、これを dB表記の $E_b/N_0$ の値($\approx -1.59$ dB)に変換する計算過程を示してください。

3. シャノン限界曲線 $E_b/N_0 > (2^\eta-1)/\eta$ を使って、スペクトル効率 $\eta=2$ bit/s/Hz における最小必要 $E_b/N_0$ をdBで求めてください。この値と、無符号化BPSK($\eta=1$)で $P_b=10^{-5}$ を達成するのに必要な $E_b/N_0\approx9.6$ dBを比べたとき、どちらがより「シャノン限界に近い」動作点と言えるか、スペクトル効率の違いに注意しながら論じてください。

4. なぜ深宇宙通信で使われる誤り訂正符号は、符号化率を1/2よりもさらに低い1/3や1/6といった値に設定することがあるのでしょうか。この回で学んだ「電力制限領域では帯域幅を広げても容量はほとんど増えないが、スペクトル効率を下げるほどシャノン限界の絶対値$-1.6$ dBに近づく」という関係を踏まえて、自分の言葉で説明してください。

まとめと次回予告

この回では、通信工学最大の問いである「どれだけ多くの情報を、どれだけの誤り率で送れるか」に対するシャノンの答え、通信路容量 $C=B\log_2(1+S/N)$ を、信号空間の球充填的な議論から導きました。この式を低SNR極限で調べることで、深宇宙リンクが電力制限領域にあり、帯域幅を増やしても容量がほとんど増えない一方、$E_b/N_0$ をシャノン限界 $-1.6$ dBに近づけることこそが本質的な設計目標であることを見ました。そして、無符号化BPSKとシャノン限界の間にある約9〜11 dBのギャップを、ターボ符号やLDPC符号がどこまで埋めてきたかという、深宇宙通信の符号化研究の歴史そのものを俯瞰しました。

次回は、変調・符号化の話題から少し離れ、探査機から送られてくるビット列の中に極端な連続0や連続1が現れたときにビット同期や搬送波トラッキングが不安定になる問題と、それを防ぐためのスクランブリング(ビット列をあらかじめ既知の擬似ランダム系列でかく拌して、統計的な偏りを均す技術)を扱います。シャノン限界に迫る優れた符号を使っていても、その手前の段階でビット同期が崩れてしまっては元も子もありません。次回はこの「符号化の前段」を支える縁の下の力持ちの仕組みを見ていきます。

参考文献

• C. E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal, vol. 27, 1948
• T. M. Cover, J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley
• C. Berrou, A. Glavieux, P. Thitimajshima, “Near Shannon Limit Error-Correcting Coding and Decoding: Turbo-Codes,” Proc. IEEE ICC, 1993
• CCSDS 131.0-B, TM Synchronization and Channel Coding
• J. H. Yuen (ed.), Deep Space Telecommunications Systems Engineering, JPL Publication 82-76
• DSN Telecommunications Link Design Handbook, DSN No. 810-005