信息論與編碼

目 錄
第1章 緒論 1
1.1 信息的概念 1
1.1.1 什麼是信息 1
1.1.2 如何度量信息 2
1.2 信息傳輸系統模型 4
1.3 信息論的研究內容 7
1.3.1 基本信息論的研究內容 7
1.3.2 一般信息論的研究內容 7
1.3.3 廣義信息論的研究內容 8
1.4 信息論和編碼理論的形成和發展 8
習題 10
第2章 離散信源及其信息度量 12
2.1 離散信源的分類 12
2.2 離散信源的統計特性 13
2.2.1 單符號離散信源的統計特性 13
2.2.2 多符號離散信源的統計特性 13
2.3 離散隨機變量的信息度量 14
2.3.1 自信息和信息熵 14
2.3.2 聯合自信息和聯合熵 19
2.3.3 條件自信息和條件熵 22
2.3.4 各類熵之間的關系 24
2.4 離散信源的N次擴展信源 27
2.4.1 離散信源的N次擴展信源的熵 27
2.4.2 離散無記憶信源的N次擴展信源的熵 28
2.5 離散平穩信源 29
2.5.1 離散平穩信源的數學定義 29
2.5.2 有限維離散平穩信源的條件熵 31
2.5.3 二維離散平穩信源的N次擴展信源的平均符號熵 32
2.5.4 離散平穩信源的極限熵 33
2.5.5 計算極限熵的處理方法 36
2.6 馬爾可夫信源 37
2.6.1 m階馬爾可夫信源的描述 37
2.6.2 齊次遍歷馬爾可夫信源 39
2.6.3 齊次遍歷馬爾可夫信源的極限熵 42
2.7 離散信源的相關性和剩余度 46
本章小結 48
習題 50
第3章 離散信道及其信道容量 57
3.1 離散信道的分類 57
3.2 離散信道的數學模型 58
3.2.1 單符號離散信道的數學模型 58
3.2.2 多符號離散信道的數學模型 61
3.3 離散隨機變量的互信息和平均互信息 63
3.3.1 互信息的定義 63
3.3.2 互信息的性質 64
3.3.3 平均互信息的定義 65
3.3.4 平均互信息的性質 66
3.3.5 平均互信息與各類熵之間的關系 69
3.3.6 平均聯合互信息和平均條件互信息 70
3.4 信道容量的定義 72
3.4.1 信息傳輸率和信息傳輸速率 72
3.4.2 信道容量 73
3.5 單符號離散信道及其信道容量 75
3.5.1 典型信道的信道容量 75
3.5.2 串聯信道及其信道容量 79
3.5.3 信息處理定理 80
3.5.4 一般離散信道的信道容量 81
3.6 多符號離散信道及其信道容量 89
3.6.1 多符號離散信道的平均互信息 89
3.6.2 離散無記憶信道的信道容量 89
3.6.3 獨立並聯信道及其信道容量 90
3.7 信源與信道的匹配 91
本章小結 92
習題 93
第4章 連續信源和連續信道 99
4.1 連續信源的分類和統計特性 99
4.1.1 連續信源的分類 99
4.1.2 連續信源的統計特性 99
4.2 連續隨機變量的信息度量 101
4.2.1 連續隨機變量的熵 102
4.2.2 連續隨機變量的平均互信息 104
4.3 連續信源的信息度量 105
4.3.1 單符號連續信源的熵 106
4.3.2 多符號連續信源的熵 106
4.3.3 波形信源的熵率 108
4.4 連續信源的最大熵 108
4.4.1 瞬時功率受限的連續信源 109
4.4.2 平均功率受限的連續信源 110
4.4.3 連續信源的熵功率 111
4.5 連續信源熵的變換 112
4.6 連續信道和波形信道的分類 114
4.6.1 連續信道的分類 114
4.6.2 波形信道的分類 115
4.7 連續信道的平均互信息 116
4.7.1 連續信道 116
4.7.2 加性信道 117
4.8 連續信道的信道容量 119
4.8.1 一維高斯加性信道 119
4.8.2 多維無記憶高斯加性信道 120
4.9 波形信道的信道容量 122
4.9.1 限帶AWGN信道的容量 122
4.9.2 香農公式的討論 124
本章小結 126
習題 127
第5章 無失真信源編碼 131
5.1 信源編碼的基本概念 131
5.1.1 信源編碼的數學模型 131
5.1.2 信源編碼的分類 132
5.1.3 唯一可譯碼和即時碼 133
5.1.4 編碼效率 136
5.2 無失真信源編碼定理 138
5.2.1 無失真定長信源編碼定理 139
5.2.2 無失真變長信源編碼定理 144
5.3 常見的無失真信源編碼方法 145
5.3.1 香農（Shannon）碼 146
5.3.2 霍夫曼（Huffman）碼 147
5.3.3 費諾（Fano）碼 155
5.3.4 香農-費諾-埃利斯碼 156
5.3.5 算術碼 158
5.3.6 LZ碼 162
本章小結 164
習題 166
第6章 有噪信道編碼 170
6.1 錯誤概率 170
6.1.1 錯誤概率和譯碼規則 170
6.1.2 錯誤概率和編碼方法 174
6.2 有噪信道編碼定理 175
6.3 聯合信源信道編碼定理 178
6.4 信道編碼的基本概念 179
6.4.1 信道編碼的分類 180
6.4.2 線性分組碼的檢錯和糾錯能力 180
6.4.3 最小漢明距離譯碼準則 182
6.4.4 差錯控制的三種方式 184
6.4.5 差錯控制的途徑 184
6.5 線性分組碼 185
6.5.1 線性分組碼的編碼 186
6.5.2 線性分組碼的譯碼 192
6.5.3 完備碼和漢明碼 197
6.5.4 對偶碼 199
6.5.5 擴展碼、縮短碼和刪信碼 199
6.6 循環碼 201
6.6.1 循環碼的碼多項式 202
6.6.2 循環碼的生成多項式和生成矩陣 203
6.6.3 循環碼的監督多項式和監督矩陣 207
6.6.4 循環碼的編碼電路 209
6.6.5 循環碼的伴隨式 211
6.6.6 循環碼的譯碼電路 214
6.6.7 CRC碼 217
6.7 BCH碼和RS碼 218
6.7.1　有限域的基本知識 218
6.7.2　二元BCH碼 227
6.7.3　多元BCH碼和RS碼 232
6.8 卷積碼 234
6.8.1 卷積碼的解析表示 234
6.8.2 卷積碼的圖形描述 240
6.8.3 卷積碼的譯碼方法 242
6.8.4 卷積碼的特性 244
6.8.5 刪余卷積碼 245
6.8.6 遞歸型系統卷積碼 246
6.9 交織碼 247
6.10 級聯碼 249
6.11 接近香農極限的信道編碼 250
6.11.1 Turbo碼 250
6.11.2 LDPC碼 251
6.11.3 極化碼 252
6.12 基於性能指標要求下的信道編碼方案選擇 253
本章小結 255
習題 257
第7章 限失真信源編碼 261
7.1 失真測度 261
7.1.1 失真函數 262
7.1.2 平均失真 264
7.1.3 保真度準則 265
7.2 信息率失真函數 266
7.2.1 信息率失真函數的定義 266
7.2.2 R(D)函數的性質 266
7.3 常見信源的R(D)函數 269
7.3.1 R(D)函數的參量表示法 270
7.3.2 離散對稱信源的R(D)函數 273
7.3.3 高斯信源的R(D)函數 279
7.4 限失真信源編碼定理 280
7.5 聯合限失真信源信道編碼定理 281
本章小結 282
習題 283
第8章 網絡信息論初步 287
8.1 網絡信源 287
8.2 網絡信道 289
8.2.1 多址接入信道 289
8.2.2 廣播信道 291
8.3 網絡信源和網絡信道的聯合/分離 292
8.4 網絡編碼 293
8.4.1 網絡編碼原理 293
8.4.2 線性網絡編碼原理 294
8.4.3 網絡編碼的優勢 295
8.5 協作通信 296
8.5.1 中繼網絡中協作策略及其容量 298
8.5.2 多中繼高斯信道的容量 300
附錄A 詹森不等式及其應用 304
附錄B 信息度量的常用公式 311
參考文獻 313