「情報理論 - 通信路符号化」の版間の差分

← 古い編集

ビジュアルウィキテキスト

@@ 113行目: / 113行目: @@
 したがって、入力信号が正しく伝送される確率は、<math>1 - p</math> となる。<br>
 pは、通信路の反転確率あるいはビット誤り率 (BER : Bit Error Rate) と呼ばれる。<br>
+<br>
+[[ファイル:Information Theory Communication Channel Coding 2.png|フレームなし|中央]]
 <br>
 二元対称通信路の重要なものとして、通信路容量の計算が簡単に行えることが挙げられる。<br>
@@ 120行目: / 122行目: @@
 ここで、H(p)は2値エントロピー関数で、次式で定義される。<br>
 <math>H(p) = -p \log_{2} p - (1 - p) \log_{2} (1 - p)</math><br>
+<br>
+[[ファイル:Information Theory Communication Channel Coding 1.png|フレームなし|中央]]
 <br>
   <math>
@@ 136行目: / 140行目: @@
   \end{array}
   </math>
+<br>
+二元対称通信路の通信路容量が最大となる値pを求める場合、<math>\dfrac{d H(p)}{dp} = 0</math> となる値pを求めればよい。<br>
+したがって、<br>
+<math>
+\begin{align}
+\dfrac{d H(p)}{dp} &= 0 \\
+&= - \log_{2} p - 1 - \dfrac{du}{dp} \log_{2} u + 1 \quad \therefore u = 1 - p \\
+&= - \log_{2} p + \log_{2} u \\
+&= - \log_{2} p + \log_{2} (1 - p) \\
+&= \log_{2} \dfrac{1 - p}{p} = 0
+\end{align}
+</math><br>
+<br>
+より、<br>
+<math>
+\begin{array}{lcl}
+\log_{2} \dfrac{1 - p}{p} &= 0 \\
+\iff \dfrac{1 - p}{p} &= e^0 \\
+\iff 1 - p &= p \\
+\iff 2p &= 1 \\
+\iff p &= \dfrac{1}{2}
+\end{array}
+</math><br>
+<br>
+<u>二元対称通信路において、H(p)はノイズによって引き起こされる不確実性の量を表す。</u><br>
+<u>つまり、pが大きくなるほど (0.5まで)、不確実性が増加して、結果として通信路容量が減少することを意味する。</u><br>
 <br>
 二元対称通信路モデルは、実際の通信システムでも頻繁に使用される。<br>
@@ 167行目: / 197行目: @@
 番目のビット : 正しく伝送 (確率0.9)
 <br>
-この通信路の通信路容量C
+この通信路の通信路容量Cにおいて、<math>p = 0.1</math> の場合の2値エントロピー関数H(p)は、<br>
-<math>p = 0.1</math> の場合は、<br>
 <math>
 \begin{align}
@@ 180行目: / 209行目: @@
 <br>
 上記の計算例は、実際の通信システムの設計において、必要な誤り訂正符号の強度を決定、あるいは、達成可能な通信速度を見積もる場合に重要となる。<br>
+<br><br>
+== 二元対称消失通信路 ==
+==== 二元対称消失通信路とは ====
+二元対称消失通信路 (Binary Erasure Channel: BEC) は、ビットが完全に消失する可能性のある通信路をモデル化する。<br>
+<br>
+二元対称消失通信路の特徴<br>
+* 誤りの検出が容易である。(消失位置が既知)
+* 理論解析が簡単である。
+* 符号の性能評価に有効である。
+<br>
+応用例<br>
+* パケット通信のモデル化
+* インターネット通信の解析
+* 消失訂正符号の設計
+<br>
+[[ファイル:Information Theory Communication Channel Coding 3.png|フレームなし|中央]]
+<br>
+* 入力
+*: 0, 1
+* 出力
+*: 0, 1, 消失記号 (ε)
+* 消失確率
+*: <math>\varepsilon (0 < \varepsilon < 1)</math>
+* 正しく伝送される確率
+*: <math>1 - p -\varepsilon</math>
+<br>
+遷移確率<br>
+* <math>P(Y = 0 | X = 0) = 1 - p - \varepsilon</math>
+* <math>P(Y = \varepsilon | X = 0) = \varepsilon</math>
+* <math>P(Y = 1 | X = 0) = p</math>
+*: <br>
+* <math>P(Y = 0 | X = 1) = p</math>
+* <math>P(Y = \varepsilon | X = 1) = \varepsilon</math>
+* <math>P(Y = 1 | X = 1) = 1 - p - \varepsilon</math>
+<br>
+これらの遷移確率は、二元対称消失通信路の特性を表しており、各状態からの遷移確率の合計は1になる。<br>
+二元対称消失通信路は対称的な性質を持っており、入力が0の場合と1の場合で対称的な遷移確率を持つ。<br>
+* 入力 X = 0 の場合
+*: <math>(1 - p - \varepsilon) + \varepsilon + p = 1</math>
+* 入力 X = 1 の場合
+*: <math>p + \varepsilon + (1 - p - \varepsilon) = 1</math>
+<br>
+==== 二元対称消失通信路の通信路容量 ====
+二元対称消失通信路の通信路容量は、<math>C = 1 - H(\varepsilon)</math> で表される。<br>
+ここで、H(ε)は2値エントロピー関数であり、<math>H(\varepsilon) = -\varepsilon \log_{2}(\varepsilon) - (1 - \varepsilon) \log_{2}(1 - \varepsilon)</math> で表される。<br>
+<br>
+この式は、消失確率εが増加すると容量が減少することを示している。<br>
+<math>\varepsilon = 0</math> の時の通信路容量は1、<math>\varepsilon = 1</math> の時の通信路容量は0となる。<br>
+<br>
+ 導出過程:
+ 通信路容量は、相互情報量I(X;Y)の最大値として定義される。
+ <math>C = \mbox{max} I(X;Y)</math>
+ 二元対称消失通信路の場合、入力分布が一様分布 <math>(P(X = 0) = P(X = 1) = \dfrac{1}{2})</math> の時に最大になる。
+ 相互情報量は以下のように展開できる。
+ <math> I(X;Y) = H(Y) - H(Y|X)</math>
+ 二元対称消失通信路では、<math>H(Y|X) = H(\varepsilon)</math> となる。
+ これは、各入力に対して確率εで消失することを表している。
+ 最適な入力分布 (一様分布) の時、<math>H(Y) = 1</math> となる。
+ したがって、通信路容量は次式となる。
+ <math> C = H(Y) - H(Y|X) = 1 - H(\varepsilon)</math>
 <br><br>