情報理論 - 通信路符号化 - 版の履歴

Wiki: /* 二元対称通信路 */

2025-01-04T10:27:26Z

二元対称通信路

← 古い版		2025年1月4日 (土) 19:27時点における版
113行目:		113行目:
	したがって、入力信号が正しく伝送される確率は、<math>1 - p</math> となる。<br>		したがって、入力信号が正しく伝送される確率は、<math>1 - p</math> となる。<br>
	pは、通信路の反転確率あるいはビット誤り率 (BER : Bit Error Rate) と呼ばれる。<br>		pは、通信路の反転確率あるいはビット誤り率 (BER : Bit Error Rate) と呼ばれる。<br>
			<br>
			[[ファイル:Information Theory Communication Channel Coding 2.png\|フレームなし\|中央]]
	<br>		<br>
	二元対称通信路の重要なものとして、通信路容量の計算が簡単に行えることが挙げられる。<br>		二元対称通信路の重要なものとして、通信路容量の計算が簡単に行えることが挙げられる。<br>

Wiki: /* 二元対称消失通信路とは */

2025-01-04T10:26:44Z

二元対称消失通信路とは

← 古い版		2025年1月4日 (土) 19:26時点における版
223行目:		223行目:
	* 消失訂正符号の設計		* 消失訂正符号の設計
	<br>		<br>
	[[ファイル:Information Theory Communication Channel Coding 2.png\|フレームなし\|中央]]		[[ファイル:Information Theory Communication Channel Coding 3.png\|フレームなし\|中央]]
	<br>		<br>
	* 入力		* 入力
250行目:		250行目:
	*: <math>p + \varepsilon + (1 - p - \varepsilon) = 1</math>		*: <math>p + \varepsilon + (1 - p - \varepsilon) = 1</math>
	<br>		<br>

	==== 二元対称消失通信路の通信路容量 ====		==== 二元対称消失通信路の通信路容量 ====
	二元対称消失通信路の通信路容量は、<math>C = 1 - H(\varepsilon)</math> で表される。<br>		二元対称消失通信路の通信路容量は、<math>C = 1 - H(\varepsilon)</math> で表される。<br>

Wiki: /* 二元対称消失通信路 */

2025-01-04T10:23:49Z

二元対称消失通信路

← 古い版		2025年1月4日 (土) 19:23時点における版
210行目:		210行目:

	== 二元対称消失通信路 ==		== 二元対称消失通信路 ==
			==== 二元対称消失通信路とは ====
	二元対称消失通信路 (Binary Erasure Channel: BEC) は、ビットが完全に消失する可能性のある通信路をモデル化する。<br>		二元対称消失通信路 (Binary Erasure Channel: BEC) は、ビットが完全に消失する可能性のある通信路をモデル化する。<br>
			<br>
			二元対称消失通信路の特徴<br>
			* 誤りの検出が容易である。(消失位置が既知)
			* 理論解析が簡単である。
			* 符号の性能評価に有効である。
			<br>
			応用例<br>
			* パケット通信のモデル化
			* インターネット通信の解析
			* 消失訂正符号の設計
			<br>
			[[ファイル:Information Theory Communication Channel Coding 2.png\|フレームなし\|中央]]
	<br>		<br>
	* 入力		* 入力
	*: 0, 1		*: 0, 1
	* 出力		* 出力
	*: 0, 1, 消失記号 (~~εで表記~~)		*: 0, 1, 消失記号 (ε)
	* 消失確率		* 消失確率
	*: <math>\varepsilon (0 < \varepsilon < 1)</math>		*: <math>\varepsilon (0 < \varepsilon < 1)</math>
	* 正しく伝送される確率		* 正しく伝送される確率
	*: <math>1 - \varepsilon</math>		*: <math>1 - p -\varepsilon</math>
	<br>		<br>
	遷移確率<br>		遷移確率<br>
	* <math>P(Y = 0 \| X = 0) = 1 - \varepsilon</math>		* <math>P(Y = 0 \| X = 0) = 1 - p - \varepsilon</math>
	* <math>P(Y = \varepsilon \| X = 0) = \varepsilon</math>		* <math>P(Y = \varepsilon \| X = 0) = \varepsilon</math>
	* <math>P(Y = 1 \| X = 1) = ~~1 - \varepsilon~~</math>		* <math>P(Y = 1 \| X = 0) = p</math>
			*: <br>
			* <math>P(Y = 0 \| X = 1) = p</math>
	* <math>P(Y = \varepsilon \| X = 1) = \varepsilon</math>		* <math>P(Y = \varepsilon \| X = 1) = \varepsilon</math>
			* <math>P(Y = 1 \| X = 1) = 1 - p - \varepsilon</math>
	<br>		<br>
	~~二元対称消失通信路の通信路容量は、~~<math>~~C =~~ 1 - \varepsilon</math><br>		これらの遷移確率は、二元対称消失通信路の特性を表しており、各状態からの遷移確率の合計は1になる。<br>
			二元対称消失通信路は対称的な性質を持っており、入力が0の場合と1の場合で対称的な遷移確率を持つ。<br>
			* 入力 X = 0 の場合
			*: <math>(1 - p - \varepsilon) + \varepsilon + p = 1</math>
			* 入力 X = 1 の場合
			*: <math>p + \varepsilon + (1 - p - \varepsilon) = 1</math>
	<br>		<br>
	~~二元対称消失通信路の特徴~~<br>		==== 二元対称消失通信路の通信路容量 ====
	* 誤りの検出が容易である。(~~消失位置が既知~~)		二元対称消失通信路の通信路容量は、<math>C = 1 - H(\varepsilon)</math> で表される。<br>
	* 理論解析が簡単である。		ここで、H(ε)は2値エントロピー関数であり、<math>H(\varepsilon) = -\varepsilon \log_{2}(\varepsilon) - (1 - \varepsilon) \log_{2}(1 - \varepsilon)</math> で表される。<br>
	* 符号の性能評価に有効である。		<br>
			この式は、消失確率εが増加すると容量が減少することを示している。<br>
			<math>\varepsilon = 0</math> の時の通信路容量は1、<math>\varepsilon = 1</math> の時の通信路容量は0となる。<br>
	<br>		<br>
	~~応用例~~<br>		導出過程:
	* パケット通信のモデル化
	* インターネット通信の解析		通信路容量は、相互情報量I(X;Y)の最大値として定義される。
	* 消失訂正符号の設計		<math>C = \mbox{max} I(X;Y)</math>

			二元対称消失通信路の場合、入力分布が一様分布 <math>(P(X = 0) = P(X = 1) = \dfrac{1}{2})</math> の時に最大になる。

			相互情報量は以下のように展開できる。
			<math> I(X;Y) = H(Y) - H(Y\|X)</math>

			二元対称消失通信路では、<math>H(Y\|X) = H(\varepsilon)</math> となる。
			これは、各入力に対して確率εで消失することを表している。

			最適な入力分布 (一様分布) の時、<math>H(Y) = 1</math> となる。

			したがって、通信路容量は次式となる。
			<math> C = H(Y) - H(Y\|X) = 1 - H(\varepsilon)</math>
	<br><br>		<br><br>

Wiki: /* 二元対称通信路 */

2025-01-04T05:39:02Z

二元対称通信路

@@ 161行目: / 161行目: @@
 \end{array}
 </math><br>
 <br>
 二元対称通信路モデルは、実際の通信システムでも頻繁に使用される。<br>
@@ 204行目: / 207行目: @@
 <br>
 上記の計算例は、実際の通信システムの設計において、必要な誤り訂正符号の強度を決定、あるいは、達成可能な通信速度を見積もる場合に重要となる。<br>
 <br><br>

Wiki: /* 二元対称通信路 */

2025-01-04T03:22:39Z

二元対称通信路

← 古い版		2025年1月4日 (土) 12:22時点における版
120行目:		120行目:
	ここで、H(p)は2値エントロピー関数で、次式で定義される。<br>		ここで、H(p)は2値エントロピー関数で、次式で定義される。<br>
	<math>H(p) = -p \log_{2} p - (1 - p) \log_{2} (1 - p)</math><br>		<math>H(p) = -p \log_{2} p - (1 - p) \log_{2} (1 - p)</math><br>
			<br>
			[[ファイル:Information Theory Communication Channel Coding 1.png\|フレームなし\|中央]]
	<br>		<br>
	<math>		<math>

Wiki: /* 二元対称通信路 */

2025-01-03T07:53:22Z

二元対称通信路

@@ 136行目: / 136行目: @@
   \end{array}
   </math>
 <br>
 二元対称通信路モデルは、実際の通信システムでも頻繁に使用される。<br>

Wiki: /* 二元対称通信路 */

2025-01-03T06:05:36Z

二元対称通信路

← 古い版		2025年1月3日 (金) 15:05時点における版
167行目:		167行目:
	4番目のビット : 正しく伝送 (確率0.9)		4番目のビット : 正しく伝送 (確率0.9)
	<br>		<br>
	~~この通信路の通信路容量C~~		この通信路の通信路容量Cにおいて、<math>p = 0.1</math> の場合の2値エントロピー関数H(p)は、<br>
	<math>p = 0.1</math> ~~の場合は、~~<br>
	<math>		<math>
	\begin{align}		\begin{align}

Wiki: /* 二元対称通信路 */

2025-01-03T06:01:49Z

二元対称通信路

← 古い版		2025年1月3日 (金) 15:01時点における版
150行目:		150行目:
	<br>		<br>
	例題:		例題:
	ビット誤り率 <math>p = 0.1 \quad \cdots 10[%]</math> の二元対称通信路を考える。		ビット誤り率 <math>p = 0.1 \quad \cdots 10[\%]</math> の二元対称通信路を考える。
	入力メッセージとして、"1011"のビット列を送信する。		入力メッセージとして、"1011"のビット列を送信する。

	各ビットは、次のような確率で伝送される。		各ビットは、次のような確率で伝送される。
	* 正しく伝送される確率 : <math>1 - p = 0.9 \cdots 90[%]</math>		* 正しく伝送される確率 : <math>1 - p = 0.9 \quad \cdots 90[\%]</math>
	* 反転する確率 : <math>p = 0.1 \quad \cdots 10[%]</math>		* 反転する確率 : <math>p = 0.1 \quad \cdots 10[\%]</math>

	例えば、この"1011"の4ビットのメッセージの伝送において、3番目のビットだけが反転した場合、出力は"1001"となる。		例えば、この"1011"の4ビットのメッセージの伝送において、3番目のビットだけが反転した場合、出力は"1001"となる。
	この特定のエラーパターンが発生する確率は、次式のように計算できる。		この特定のエラーパターンが発生する確率は、次式のように計算できる。
	<math>0.9 \times 0.9 \times 0.1 \times 0.9 = 0.0729 \quad \cdots 7.29[%]</math>		<math>0.9 \times 0.9 \times 0.1 \times 0.9 = 0.0729 \quad \cdots 7.29[\%]</math>

	これは		これは

Wiki: /* 二元対称通信路 */

2025-01-03T05:59:44Z

二元対称通信路

@@ 148行目: / 148行目: @@
 衛星通信や光ファイバー通信等の多くのデジタル通信システムにおいて、二元対称通信路は基本的なモデルとして使用されている。<br>
 ただし、実際の通信路はより複雑な特性を持つことが多く、より精密なモデル化が必要となる場合もある。<br>
 <br><br>

Wiki: /* 符号化の基礎 */

2025-01-03T05:38:09Z

符号化の基礎

@@ 101行目: / 101行目: @@
 実際の系では、上記の概念を組み合わせて、要求される性能と複雑さのバランスを取った設計が行われる。<br>
 <br><br>
 __FORCETOC__
 [[カテゴリ:情報理論]]

Wiki: /* 符号化の基礎 */

2025-01-03T02:10:36Z

符号化の基礎

← 古い版		2025年1月3日 (金) 11:10時点における版
71行目:		71行目:
	符号語2: 1100		符号語2: 1100
	<br>		<br>
	~~最小距離dminは、符号に含まれる任意の2つの符号語間のハミング距離の最小値のことである。~~<br>		最小距離d<sub>min</sub>は、符号に含まれる任意の2つの符号語間のハミング距離の最小値のことである。<br>
	これにより、符号の誤り検出・訂正能力が決まる。<br>		これにより、符号の誤り検出・訂正能力が決まる。<br>
	<br>		<br>
	t個までの誤りを検出する場合:		t個までの誤りを検出する場合:
	~~dmin ≥~~ t + 1		<math>d_{min} \ge t + 1</math>

	t個までの誤りを訂正する場合		t個までの誤りを訂正する場合
	~~dmin ≥~~ 2t + 1		<math>d_{min} \ge 2t + 1</math>
	<br>		<br>
	エンコーダの基本構造<br>		エンコーダの基本構造<br>
86行目:		86行目:
	<br>		<br>
	デコーダの基本構造<br>		デコーダの基本構造<br>
	# ~~受信した符号語を解析~~		# 受信した符号語を解析する。
	# ~~誤り検出を行う~~		# 誤り検出を行う。
	# ~~可能な場合は誤り訂正を実施~~		# 可能な場合は誤り訂正を実施する。
	# ~~元の情報ビットを復元~~		# 元の情報ビットを復元する。
	<br>		<br>
	デコーディング方式には、以下に示すものがある。<br>		デコーディング方式には、以下に示すものがある。<br>

Wiki: /* 概要 */

2025-01-02T17:22:58Z

概要

@@ 30行目: / 30行目: @@
 <br><br>
 __FORCETOC__
 [[カテゴリ:情報理論]]

Wiki: /* 概要 */

2025-01-02T17:01:12Z

概要

@@ 1行目: / 1行目: @@
 == 概要 ==
 __FORCETOC__
 [[カテゴリ:情報理論]]

Wiki: ページの作成:「== 概要 ==

FORCETOC カテゴリ:情報理論」

2023-12-30T07:12:38Z

ページの作成:「== 概要 == <br><br> __FORCETOC__ カテゴリ:情報理論」

新規ページ

== 概要 ==

<br><br>

__FORCETOC__
[[カテゴリ:情報理論]]

情報理論 - 通信路符号化 - 版の履歴

Wiki: /* 二元対称通信路 */

Wiki: /* 二元対称消失通信路とは */

Wiki: /* 二元対称消失通信路 */

Wiki: /* 二元対称通信路 */

Wiki: /* 二元対称通信路 */

Wiki: /* 二元対称通信路 */

Wiki: /* 二元対称通信路 */

Wiki: /* 二元対称通信路 */

Wiki: /* 二元対称通信路 */

Wiki: /* 符号化の基礎 */

Wiki: /* 符号化の基礎 */

Wiki: /* 概要 */

Wiki: /* 概要 */

Wiki: ページの作成:「== 概要 == __FORCETOC__ カテゴリ:情報理論」

Wiki: ページの作成:「== 概要 ==

FORCETOC カテゴリ:情報理論」