変調・符号化#20

検出理論と最尤推定 — 「一番近い信号点を選ぶ」が最適である理由

BPSKの誤り率を一般化し、M個の信号点からなる任意の信号空間で誤り率を最小化する最適受信機を設計する理論を学ぶ。最尤(ML)判定則の導出、MAP判定との違い、AWGN通信路でのユークリッド距離最小則との等価性、判定領域とシンボル誤り率の一般公式までを数式で追う。

前提知識: pcm-psk-pmmatched-filter

検出理論最尤推定判定領域多値変調AWGN

この回で学ぶこと

PCM/PSK/PMの回では、BPSK(2値位相偏移変調)という具体的な変調方式について、受信機が「rr の符号を見るだけでよい」ことと、そのときのビット誤り率が

Pb=Q ⁣(2EbN0)P_b = Q\!\left(\sqrt{\frac{2E_b}{N_0}}\right)

となることを見ました。しかし実際の深宇宙リンクではBPSKだけでなく、QPSK・8PSK・16APSK・32APSKのように3個以上、場合によっては数十個の信号点を使う多値変調が広く使われています。信号点の数が増えたとき、「受信機はどの信号点が送られたと判断すべきか」「なぜその判断方法が最適だと言えるのか」「誤り率はどう計算すればよいのか」は、もはや符号を見るだけでは済みません。

この回では、BPSKの議論を一般化し、M個の信号点からなる任意の信号空間において誤り率を最小化する受信機をゼロから設計する理論――検出理論(detection theory)――を扱います。ゴールは3つです。

  1. 受信信号 rr から送信信号を推定するとき、なぜ「P(rsi)P(r\mid s_i) を最大化する sis_i を選ぶ」(最尤判定、ML)ことが誤り率最小の最適解になるのかを、確率論から証明する。
  2. 事前確率が等しくない場合の最適判定(最大事後確率判定、MAP)との違いを理解する。
  3. AWGN通信路において、この抽象的な最適判定則が「受信点に一番近い信号点を選ぶ」という直感的なユークリッド距離最小則に一致することを導き、シンボル誤り率の一般公式を得る。

これは「BPSKの誤り率がなぜあの式になるのか」の背後にある、もっと一般的で強力な理論の話です。以降の回で扱う多値変調・符号化のほぼすべてが、この検出理論の土台の上に組み立てられています。

直感的な導入 — 「一番近そうな点を選ぶ」は当たっているのか

信号空間の絵を思い浮かべてください。送信機は MM 個の候補信号点 s1,s2,,sMs_1, s_2, \dots, s_M のうちどれか1つを選んで送信します。受信機は、雑音にまみれた観測値 rr だけを手がかりに、どの点が送られたかを当てなければなりません。

直感的には「rr に一番近い信号点を選べばよさそうだ」と誰でも思うはずです。実際BPSKの回ではまさにそれをやりました(r>0r>0 なら +Eb+\sqrt{E_b}r<0r<0 なら Eb-\sqrt{E_b} を選ぶ、というのは「近い方を選ぶ」ことと同じです)。しかしこの「近い方を選ぶ」という戦略は、なんとなく良さそうだからという理由で採用されたのではありません。実は確率論的に証明できる、真に最適な戦略です。

ここで言う「最適」とは何を意味するのでしょうか。受信機の仕事は、雑音に埋もれた rr から元の信号を当てることです。当たれば成功、外れれば誤り(エラー)です。「最適な受信機」とは、この平均誤り確率を最小にする受信機のことだと定義します。この回でこれから示すのは、

  • 送信される信号が等確率で選ばれるなら、平均誤り確率を最小にする判定則は「P(rsi)P(r\mid s_i)(尤度)を最大化する sis_i を選ぶ」という最尤(ML)判定則である。
  • さらに信号が加法性白色ガウス雑音(AWGN)の通信路を通るなら、この最尤判定則は数学的に「rr に一番近い信号点を選ぶ」というユークリッド距離最小則と完全に一致する。

という2段階の事実です。つまり私たちが直感的に「良さそうだ」と思っていた戦略は、確率論の言葉で厳密に証明できる最適解だったのです。

受信機設計問題の定式化

まず問題を数学的に整理します。送信機は MM 個の信号点 {s1,,sM}\{s_1, \dots, s_M\} を持つ**信号空間(signal constellation)**を使うとします。各 sis_iNN 次元の実ベクトル siRNs_i \in \mathbb{R}^N です(NN はその変調方式が使う直交基底関数の本数で、BPSKなら N=1N=1、QPSKなら N=2N=2 です)。

このベクトル表現がどこから来るかを一言だけ補足しておきます。実際に空間を伝わるのは連続時間の波形 r(t)r(t) ですが、整合フィルタ(マッチトフィルタ)または相関器を使って r(t)r(t) をいくつかの直交基底関数 φ1(t),,φN(t)\varphi_1(t), \dots, \varphi_N(t) に射影すると、

rk=r(t)φk(t)dt,k=1,,Nr_k = \int r(t)\, \varphi_k(t)\, dt, \qquad k = 1, \dots, N

という有限個の実数の組 r=(r1,,rN)r = (r_1, \dots, r_N) が得られます。これは**情報を一切失わない十分統計量(sufficient statistic)**であることが示せて、以降の検出問題はこの有限次元ベクトル rr だけを見て考えればよいことになります。この回では、この射影がすでに済んだあとの、ベクトル空間上の判定問題だけを扱います。

送信機が信号 sis_i を選ぶ事前確率を PiP(Hi)P_i \equiv P(H_i) とします(HiH_i は「sis_i が送信された」という仮説、iPi=1\sum_i P_i = 1)。通信路は加法性白色ガウス雑音(AWGN)で、

r=si+n,nN(0,σ2IN),σ2=N02r = s_i + n, \qquad n \sim \mathcal{N}(0,\, \sigma^2 I_N), \qquad \sigma^2 = \frac{N_0}{2}

各成分が独立に分散 σ2\sigma^2 のガウス雑音を持つとします。この条件付き確率密度(尤度関数)は

p(rsi)=1(2πσ2)N/2exp ⁣(rsi22σ2)p(r \mid s_i) = \frac{1}{(2\pi\sigma^2)^{N/2}} \exp\!\left(-\frac{\lVert r - s_i \rVert^2}{2\sigma^2}\right)

です。受信機の仕事は、観測した rr から、送信された添字 ii を推定する関数(判定則)を設計することです。

判定則と平均誤り確率

判定則は、NN 次元空間 RN\mathbb{R}^NMM 個の判定領域(decision region) Z1,,ZMZ_1, \dots, Z_M に分割することと同じです(ZiZ_i は互いに重ならず、全体で空間を覆い尽くす)。受信機は rZir \in Z_i であれば「sis_i が送られた」と判定します。

このとき、正しく判定できる平均確率は

Pc=i=1MPiZip(rsi)drP_c = \sum_{i=1}^{M} P_i \int_{Z_i} p(r \mid s_i)\, dr

で、平均誤り確率は Pe=1PcP_e = 1 - P_c です。受信機設計の問題は、この PeP_e を最小化する(すなわち PcP_c を最大化する)ように領域 Z1,,ZMZ_1, \dots, Z_M を選ぶこと、と定式化できます。

最適判定則: MAPとその証明

PcP_c を最大化する領域分割を具体的に求めましょう。{Zi}\{Z_i\}RN\mathbb{R}^N の分割であることを使うと、PcP_c は次のように書き直せます。

Pc=RN[i=1M1Zi(r)Pip(rsi)]drP_c = \int_{\mathbb{R}^N} \left[ \sum_{i=1}^{M} \mathbb{1}_{Z_i}(r)\, P_i\, p(r \mid s_i) \right] dr

ここで 1Zi(r)\mathbb{1}_{Z_i}(r)rZir \in Z_i のとき1、そうでなければ0を取る指示関数です。{Zi}\{Z_i\} は分割なので、各 rr についてちょうど1つの ii だけが 1Zi(r)=1\mathbb{1}_{Z_i}(r)=1 となります。したがって被積分関数は、その rr が実際に割り当てられた領域 Zi(r)Z_{i(r)} における値 Pi(r)p(rsi(r))P_{i(r)}\, p(r \mid s_{i(r)}) そのものです。

ここで次の不等式が、各点 rr ごとに成り立ちます。

Pi(r)p(rsi(r))    maxiPip(rsi)P_{i(r)}\, p(r \mid s_{i(r)}) \; \le \; \max_{i} \, P_i\, p(r \mid s_i)

等号が成り立つのは、まさにその rr において i(r)i(r) が右辺を最大化する添字であるときだけです。これを空間全体で積分すれば、

Pc=RNPi(r)p(rsi(r))dr    RNmaxiPip(rsi)drP_c = \int_{\mathbb{R}^N} P_{i(r)}\, p(r \mid s_{i(r)})\, dr \; \le \; \int_{\mathbb{R}^N} \max_i \, P_i\, p(r \mid s_i)\, dr

という上界が得られます。そしてこの上界は、すべての rr に対して ZiZ_i を「Pip(rsi)P_i\, p(r\mid s_i) を最大化する ii」に割り当てれば、厳密に達成できます。つまり

  i^(r)=argmaxiPip(rsi)  \boxed{\;\hat{i}(r) = \arg\max_i \, P_i\, p(r \mid s_i)\;}

という判定則が PcP_c を最大化する、すなわち平均誤り確率 PeP_e を最小化する唯一の最適判定則であることが証明されました(境界上の同点は誤り率に影響しないので任意に振り分けてよい)。

ベイズの定理を使うと Pip(rsi)=P(Hi)p(rHi)P(Hir)P_i\, p(r\mid s_i) = P(H_i)\,p(r\mid H_i) \propto P(H_i \mid r) です(rr の周辺分布 p(r)p(r)ii に依らない共通の分母なので、比較には影響しません)。したがってこの判定則は、観測 rr が与えられたときの事後確率 P(Hir)P(H_i \mid r) を最大化する添字を選んでいることと同じです。これが最大事後確率(MAP: Maximum A Posteriori)判定則と呼ばれる理由です。直感的に言えば「観測を見た上で、一番あり得そうな送信仮説を選ぶ」という、誰もが納得する自然な戦略が、実は数学的に証明可能な最適解だった、ということです。

最尤(ML)判定則 — 等事前確率のときの特別な形

深宇宙リンクで送られるテレメトリのビット列は、通常あらかじめ特定のパターンに偏る理由がなく、MM 個の信号点はほぼ等確率 Pi=1/MP_i = 1/M で送信されると仮定してよいケースがほとんどです(符号化後のインタリーブされたビット列は統計的にランダムに近づくよう設計されています)。この等事前確率の仮定を置くと、MAP判定則は

i^(r)=argmaxi1Mp(rsi)=argmaxip(rsi)\hat{i}(r) = \arg\max_i \, \frac{1}{M}\, p(r \mid s_i) = \arg\max_i \, p(r \mid s_i)

となり、定数倍 1/M1/M は最大化に無関係なので消えます。これが最尤(ML: Maximum Likelihood)判定則です。

  i^(r)=argmaxip(rsi)  \boxed{\;\hat{i}(r) = \arg\max_i \, p(r \mid s_i)\;}

つまり「P(rsi)P(r\mid s_i) を最大化する sis_i を選ぶ」という最尤判定則が誤り率最小の最適受信機になるのは、事前確率が等しいという条件のもとでのMAP判定則の特別な場合だからです。事前確率が偏っている場合(たとえば誤り訂正符号の軟判定復号で、前段のデコーダから「この記号はこちらの方があり得そうだ」という事前情報が渡ってくる場合など)は、MAPとMLは異なる判定を下すことがあります。実務上は、変調シンボル自体は等確率とみなしてML判定を使い、符号レベルの事前情報はデコーダ側の反復処理(ターボ復号やLDPC復号のBP法など)で別途扱う、という役割分担がよく取られます。

AWGN通信路におけるユークリッド距離最小則との等価性

ここまでは尤度関数 p(rsi)p(r\mid s_i) の中身に触れずに一般論を進めてきました。ここでAWGN通信路の具体的な尤度関数を代入し、最尤判定則が実際にどんな計算になるかを見ましょう。

p(rsi)=1(2πσ2)N/2exp ⁣(rsi22σ2)p(r \mid s_i) = \frac{1}{(2\pi\sigma^2)^{N/2}} \exp\!\left(-\frac{\lVert r-s_i \rVert^2}{2\sigma^2}\right)

対数関数は単調増加なので、p(rsi)p(r\mid s_i) を最大化することと lnp(rsi)\ln p(r\mid s_i) を最大化することは、ii の選び方に関して等価です(この対数を取る操作を**対数尤度(log-likelihood)**と呼びます)。

lnp(rsi)=N2ln(2πσ2)    rsi22σ2\ln p(r \mid s_i) = -\frac{N}{2}\ln(2\pi\sigma^2) \; - \; \frac{\lVert r - s_i \rVert^2}{2\sigma^2}

右辺第1項は ii に依存しない定数です。したがって

argmaxip(rsi)  =  argmaxi[rsi2]  =  argminirsi\arg\max_i \, p(r\mid s_i) \;=\; \arg\max_i \left[-\lVert r - s_i\rVert^2\right] \;=\; \arg\min_i \, \lVert r - s_i \rVert

AWGN通信路における最尤判定則は、受信点 rr とのユークリッド距離が最小の信号点を選ぶことと数学的に完全に同一です。 これがこの回のもう1つの核心的な結果です。BPSKの回で「rr の符号を見る」だけで最適だったのは、1次元信号空間 s0,1=Ebs_{0,1} = \mp\sqrt{E_b} における、この一般則の N=1,M=2N=1, M=2 の特殊ケースに過ぎなかったことになります。

事前確率が等しくない場合(MAP)にも同様の計算をすると、

argmaxi[lnPirsi22σ2]  =  argmini[rsi22σ2lnPi]\arg\max_i \left[\ln P_i - \frac{\lVert r-s_i\rVert^2}{2\sigma^2}\right] \;=\; \arg\min_i \left[\lVert r - s_i \rVert^2 - 2\sigma^2 \ln P_i \right]

となります。これは「ユークリッド距離の2乗から、事前確率に応じたバイアス項 2σ2lnPi2\sigma^2 \ln P_i を引いたもの」を最小化する判定則で、事前確率が高い信号点ほど(lnPi\ln P_i が大きいほど)実効的な距離が縮み、判定領域が広がる方向にバイアスがかかることを意味します。等確率のときはこのバイアス項が全ての ii で共通の定数になるため消え、純粋なユークリッド距離最小則に帰着します。

判定領域とシンボル誤り率の一般公式

等事前確率・AWGNの場合、最尤判定則が定める判定領域は

Zi={rRN  :  rsirsj  ji}Z_i = \left\{ r \in \mathbb{R}^N \; : \; \lVert r - s_i \rVert \le \lVert r - s_j \rVert \ \ \forall j \ne i \right\}

という、信号点 sis_i を中心とするボロノイ領域(Voronoi region)になります。隣り合う2点 si,sjs_i, s_j の判定境界は、両者を結ぶ線分の垂直二等分超平面

{r  :  (rsi+sj2)(sisj)=0}\left\{ r \; : \; \left(r - \tfrac{s_i+s_j}{2}\right)\cdot (s_i - s_j) = 0 \right\}

です。信号点が2個しかないBPSKでは、この境界がちょうど原点を通る点(1次元では点)になるので、「rr の符号を見る」だけで判定できたわけです。

2点間の誤り確率。 sis_isjs_j の間だけに着目すると、判定境界はこの2点を結ぶ線分上、両者からの距離が等しい中点にあります。雑音のうちこの2点を結ぶ方向の成分は分散 σ2\sigma^2 のガウス確率変数なので、sis_i が送信されたときに誤って sjs_j側の領域に落ちる確率(ペアワイズ誤り確率)は、距離 dijsisjd_{ij} \equiv \lVert s_i - s_j \rVert を使って

P(sisj)=Q ⁣(dij2σ)=Q ⁣(dij2N0)P(s_i \to s_j) = Q\!\left(\frac{d_{ij}}{2\sigma}\right) = Q\!\left(\frac{d_{ij}}{\sqrt{2N_0}}\right)

と厳密に書けます。これが検出理論におけるQ関数公式の一般形です。実際、BPSKでは s1=+Ebs_1=+\sqrt{E_b}s0=Ebs_0=-\sqrt{E_b} なので d01=2Ebd_{01} = 2\sqrt{E_b} であり、これを代入すると

Q ⁣(2Eb2N0)=Q ⁣(2EbN0)Q\!\left(\frac{2\sqrt{E_b}}{\sqrt{2N_0}}\right) = Q\!\left(\sqrt{\frac{2E_b}{N_0}}\right)

と、前回導出したBPSKのビット誤り率にぴったり一致します。つまり前回の結果は、この回の一般公式の M=2M=2 の特殊例だったわけです。

M点への一般化(和集合上界)。 信号点が3個以上になると、sis_i の判定領域は複数の隣接点に囲まれるため、正確な誤り確率は判定領域上の多重積分になり閉じた式になりません。しかし和集合上界(union bound)を使うと、

P(errorsi)    jiQ ⁣(dij2σ)P(\text{error} \mid s_i) \; \le \; \sum_{j \ne i} Q\!\left(\frac{d_{ij}}{2\sigma}\right)

平均シンボル誤り率は Ps=1MiP(errorsi)P_s = \frac{1}{M}\sum_i P(\text{error}\mid s_i) なので、

Ps    1Mi=1MjiQ ⁣(dij2σ)P_s \; \le \; \frac{1}{M} \sum_{i=1}^{M} \sum_{j \ne i} Q\!\left(\frac{d_{ij}}{2\sigma}\right)

Q(x)Q(x)xx に対して指数的に急減少する関数なので、高SNR領域ではこの和の中で最小距離 dmin=minijdijd_{\min} = \min_{i\ne j} d_{ij} を持つ点同士の項が支配的になります。

Ps    NˉminQ ⁣(dmin2σ)=NˉminQ ⁣(dmin2N0)P_s \; \approx \; \bar{N}_{\min} \, Q\!\left(\frac{d_{\min}}{2\sigma}\right) = \bar{N}_{\min}\, Q\!\left(\frac{d_{\min}}{\sqrt{2N_0}}\right)

ここで Nˉmin\bar{N}_{\min} は、1つの信号点あたりの平均的な「最近接点の個数」という、通信路とは無関係な純粋に幾何学的な量です。この式は、多値変調の信号点配置を設計するときの最重要指標が最小距離 dmind_{\min} であることを示しています。 平均送信エネルギーが同じという制約のもとで dmind_{\min} をできるだけ大きく保つように信号点を配置することが、誤り率を下げる直接的な設計原理になります。これは次回以降扱う多値変調方式(QPSK、8PSK、APSKなど)の設計思想そのものです。

実務での使われ方

深宇宙探査機の高速テレメトリ回線では、CCSDS 131.0-B (TM Synchronization and Channel Coding) が8PSK・16APSK・32APSKといった多値変調を規定しています。これらの受信機は、まさにこの回で導いた理論をそのままハードウェアに落とし込んだものです。

  • PSK系(8PSKなど)の判定回路。 全ての信号点が同一半径の円周上に等間隔で並ぶため、ユークリッド距離最小則は「観測点の位相を、最も近い位相セクタに丸める」という単純な位相スライサーに帰着します。位相検出器の出力を 2π/M2\pi/M ラジアンごとのセクタに量子化するだけで、最尤判定と数学的に等価な処理が実現できます。
  • APSK系(16APSK、32APSKなど)の判定回路。 振幅の異なる複数のリング(同心円)に信号点を配置するため、判定にはI/Q平面上での振幅(半径)と位相の両方の情報が必要です。実際のFPGA/ASIC実装では、まず受信振幅からどのリングに属するかを判定し、次にそのリング内での位相セクタを判定するという2段階の最近接点探索が行われます。これは高次の多値変調でエネルギー効率(振幅方向にも自由度を使うことでPSKより信号点間距離を稼げる)を高めるための設計であり、根底にあるのは常にこの回で導いた「ユークリッド距離最小」の原理です。
  • 軟判定復号との接続。 畳み込み符号のビタビ復号やLDPC符号の反復復号では、各時刻の受信サンプルに対して信号点ごとの距離 rsi2\lVert r - s_i \rVert^2(あるいはその対数尤度)をブランチメトリックとして計算し、復号器全体でその総和(パスメトリック)を最小化する経路を探索します。つまり検出理論のML/MAP計算は、変調シンボル単体の判定だけでなく、誤り訂正符号を含めた受信機全体の最適化の基礎部品として繰り返し使われています。

DSN(Deep Space Network)の受信機ソフトウェアやミッション地上局の復調器チェーンでは、こうしたリング判定・位相判定・軟判定メトリック計算がすべてデジタル信号処理として実装されており、この回の数式がそのままアルゴリズムの仕様書になっています。

演習問題

  1. MAP判定則の証明を、M=2M=2(2択の仮説検定)の場合に specialize してください。P1p(rs1)>P2p(rs2)P_1\, p(r\mid s_1) > P_2\, p(r\mid s_2) のとき s1s_1 を選ぶという条件を、尤度比 Λ(r)=p(rs1)/p(rs2)\Lambda(r) = p(r\mid s_1)/p(r\mid s_2) を使った「閾値検定」の形に書き直し、閾値が P2/P1P_2/P_1 になることを示してください。
  2. QPSK(4点、si=Esej(2i1)π/4s_i = \sqrt{E_s}\, e^{j(2i-1)\pi/4}, i=0,1,2,3i=0,1,2,3)の信号点配置について、隣接点間の最小距離 dmind_{\min}Es\sqrt{E_s} を使って表してください。またこの回で導いた一般公式を使って、高SNR近似でのシンボル誤り率 PsP_sQ()Q(\cdot)Nˉmin\bar{N}_{\min} を用いて表してください(Nˉmin\bar{N}_{\min} の値も具体的に求めること)。
  3. 平均エネルギーを EsE_s に揃えたとき、8PSK(8点、単位円上に等間隔配置)の最小距離は dmin=2Essin(π/8)d_{\min} = 2\sqrt{E_s}\sin(\pi/8) で与えられます。これを問2で求めたQPSKの dmind_{\min} と比較し、どちらのほうが同じ Es/N0E_s/N_0 に対して誤り率が低いか(あるいは高いか)を、Q関数が単調減少関数であることを踏まえて議論してください。信号点数を増やすとなぜ一般に誤り率が悪化する方向に働くのか、この回の理論の言葉で説明してください。
  4. なぜ実際のAWGN通信路の受信機は、確率密度 p(rsi)p(r\mid s_i) そのものを計算する必要がなく、単にユークリッド距離(あるいはその2乗)を比較するだけで最適な判定ができるのか。この回で行った対数尤度の導出を踏まえて、自分の言葉で説明してください。

まとめと次回予告

この回では、BPSKという特定の変調方式に対する誤り率の議論を離れ、M個の信号点からなる任意の信号空間で誤り率を最小化する最適受信機を、確率論から厳密に導きました。要点は次の3つです。

  • 平均誤り確率を最小にする最適判定則は、事前確率込みの尤度 Pip(rsi)P_i\, p(r\mid s_i)(事後確率に比例)を最大化するMAP判定則である。
  • 事前確率が等しいとき、MAPは尤度 p(rsi)p(r\mid s_i) だけを最大化するML判定則に一致する。
  • AWGN通信路では、ML判定則は対数尤度を通じてユークリッド距離最小則と数学的に完全に同一になり、シンボル誤り率は信号点間の最小距離 dmind_{\min} とQ関数で一般公式化できる。

前回までのBPSK・PCM/PSK/PMの議論は、この一般理論の中で M=2M=2, N=1N=1 という最も単純な特殊ケースだったことになります。今回導いた枠組みは、次回以降扱う多値変調方式の性能評価や、誤り訂正符号の軟判定復号のブランチメトリック設計に直接使われていきます。

なおここまでの議論では、雑音 nn が「各成分が独立で分散 σ2=N0/2\sigma^2 = N_0/2 のガウス分布に従う」という性質を天下り的に仮定してきました。次回は一歩戻って、このAWGN(加法性白色ガウス雑音)モデルそのものが物理的にどこから来るのか、なぜ深宇宙リンクの雑音がこのモデルでよく近似できるのかを簡単に見ていきます。

参考文献

  • J. G. Proakis, M. Salehi, Digital Communications, 5th ed., McGraw-Hill
  • H. L. Van Trees, Detection, Estimation, and Modulation Theory, Part I, Wiley
  • M. K. Simon, S. M. Hinedi, W. C. Lindsey, Digital Communication Techniques: Signal Design and Detection, Prentice Hall (JPL Deep Space Communications and Navigation Series)
  • CCSDS 131.0-B, TM Synchronization and Channel Coding
  • J. H. Yuen (ed.), Deep Space Telecommunications Systems Engineering, JPL Publication 82-76