信息論與編碼（第2版）

目 錄
第1章 緒論 1
1.1 信息理論及信息科學 2
1.1.1 信息科學的創立 2
1.1.2 信息論的主要內容及其發展 2
1.2 信息與通信 4
1.2.1 消息和信號 4
1.2.2 信息 5
1.3 信息論的研究範疇 7
1.3.1 香農信息論（狹義信息論） 8
1.3.2 一般信息論 8
1.3.3 廣義信息論 9
本章小結 9
習題 9
第2章 信源與信息熵 11
2.1 信源的分類及數學模型 12
2.1.1 離散信源 12
2.1.2 連續信源 17
2.1.3 平穩信源 17
2.1.4 自然語信源 18
2.2 信息量與信息熵 20
2.2.1 如何度量信息 20
2.2.2 熵的基本概念 22
2.2.3 條件自信息量和條件熵 23
2.2.4 離散信源的信息熵 24
2.3 互信息 29
2.3.1 互信息量 29
2.3.2 條件互信息量 31
2.3.3 平均互信息量 32
2.3.4 疑義度和噪聲熵 34
2.3.5 數據處理中的信息變化 36
2.4 離散信源的時間熵 38
2.5 信源的極限熵 39
2.5.1 離散平穩信源 39
2.5.2 離散平穩信源的極限熵 41
本章小結 42
習題 42
第3章 離散信源的無失真信源編碼 46
3.1 信源的冗余度 47
3.2 信源編碼模型及最佳編碼 49
3.2.1 信源編碼模型 49
3.2.2 最佳信源編碼準則 50
3.3 無失真信源編碼定理 52
3.3.1 變長碼的信源編碼定理 52
3.3.2 信源符號序列分組定理 57
3.3.3 等長碼的信源編碼定理 59
3.3.4 香農第一定理 61
3.4 典型的信源編碼方法 63
3.4.1 香農編碼 63
3.4.2 費諾編碼 64
3.4.3 霍夫曼編碼 65
3.4.4 算術編碼 68
3.4.5 遊程編碼 71
3.4.6 LZ（Lempel-Ziv）編碼 71
3.5 信源編碼的錯誤擴散 74
本章小結 74
習題 75
第4章 離散信道及信道容量 77
4.1 信道的分類 78
4.2 單符號離散信道及其信道容量 79
4.2.1 單符號離散信道的數學模型 79
4.2.2 單符號離散信道的信道容量 82
4.2.3 幾種特殊離散信道的信道容量 83
4.2.4 獨立並聯信道的信道容量 85
4.2.5 串聯信道的信道容量 86
4.3 多符號離散信道及其信道容量 88
4.3.1 多符號離散對稱信道的信道容量 88
4.3.2 離散無記憶擴展信道的信道容量 89
4.4 有擾離散信道的信道編碼定理 91
4.4.1 譯碼準則 91
4.4.2 有擾離散信道的信道編碼定理簡介 95
本章小結 103
習題 103
第5章 連續信源和連續信道 106
5.1 連續消息的信息度量 107
5.1.1 連續信源的相對熵 107
5.1.2 幾種典型連續信源的相對熵 109
5.1.3 連續消息的條件熵 112
5.1.4 連續消息的平均互信息量 113
5.2 最大相對熵定理 114
5.2.1 相對熵的性質 114
5.2.2 最大相對熵定理簡介 114
5.3 熵功率 117
5.3.1 連續信源熵的變換 117
5.3.2 熵功率簡介 118
5.3.3 熵功率不等式 119
5.3.4 噪聲 119
5.4 信道容量與香農公式 120
5.4.1 連續信道的信道容量 120
5.4.2 香農信道容量公式 121
5.5 連續信源編碼 122
5.5.1 標量量化與理想接收機 123
5.5.2 矢量量化編碼 125
5.5.3 預測編碼 126
本章小結 128
習題 128
第6章 差錯控制和信道編碼基礎 131
6.1 差錯控制的基本方式 132
6.1.1 插入冗余度 132
6.1.2 差錯隨機化 134
6.1.3 參量權衡 135
6.2 糾錯編碼的基本概念 135
6.2.1 糾錯編碼的分類 135
6.2.2 糾錯編碼的基本概念 137
6.2.3 糾錯編碼的檢、糾錯能力 140
6.3 近世代數基礎 141
6.3.1 整數、群、環和域 141
6.3.2 多項式環和域 147
6.3.3 GF(2)的擴域GF(2m) 148
6.3.4 矢量空間 153
本章小結 154
習題 154
第7章 限失真信源編碼 156
7.1 失真度和平均失真度 157
7.1.1 失真度 157
7.1.2 平均失真度 158
7.2 信息率失真函數 160
7.2.1 保真度準則及D失真許可的試驗信道 160
7.2.2 信息率失真函數簡介 161
7.2.3 信息率失真函數的性質 162
7.3 信息率失真函數的計算 167
7.3.1 誤碼失真條件下離散信源的信息率失真函數 167
7.3.2 離散信源的R(D)的參量表示 169
7.3.3 連續信源的信息率失真函數 172
7.4 保真度準則下的信源編碼定理 173
7.5 信息價值 174
本章小結 176
習題 177
第8章 線性分組碼 179
8.1 線性分組碼的基本概念 180
8.1.1 線性分組碼的描述 180
8.1.2 生成矩陣和校驗矩陣 180
8.1.3 系統碼 181
8.2 線性分組碼的編譯碼及糾檢錯性能 182
8.2.1 線性分組碼的編碼 182
8.2.2 線性分組碼的譯碼 183
8.2.3 線性分組碼的糾檢錯性能 187
8.3 漢明碼和格雷碼 188
8.3.1 完備碼的概念 188
8.3.2 漢明碼和格雷碼簡介 189
8.4 循環碼 190
8.4.1 循環碼的定義與描述 191
8.4.2 循環碼的生成矩陣和校驗矩陣 193
8.4.3 循環碼的編碼 195
8.4.4 循環碼的譯碼 197
8.4.5 循環冗余校驗碼 202
8.5 BCH碼 204
8.5.1 BCH碼的編碼 204
8.5.2 BCH碼的譯碼 206
8.6 R-S碼 211
8.7 LDPC碼（低密度奇偶校驗碼） 213
8.7.1 LDPC碼的基本概念 213
8.7.2 LDPC碼的Tanner圖表示 214
8.7.3 LDPC碼的校驗矩陣構造 215
8.7.4 LDPC碼的編碼算法 217
8.7.5 LDPC碼的譯碼 218
8.8 糾突發錯誤碼 225
8.8.1 糾突發錯誤碼的基本概念 225
8.8.2 交織碼 226
8.8.3 乘積碼 229
本章小結 230
習題 230
第9章 卷積碼 233
9.1 卷積碼的編碼和譯碼 234
9.1.1 卷積碼的編碼 234
9.1.2 卷積碼的譯碼 240
9.2 卷積碼的碼率和距離特性 249
9.3 糾突發錯誤卷積碼 250
9.3.1 基本概念 250
9.3.2 卷積交織 251
9.4 Turbo碼（並行級聯卷積碼） 253
9.4.1 級聯碼 253
9.4.2 Turbo碼 254
9.4.3 Turbo碼與LDPC碼的性能比較 256
本章小結 257
習題 257
第10章 加密編碼 259
10.1 加密編碼基礎知識 260
10.1.1 加密編碼中的基本概念 260
10.1.2 密碼系統安全性 261
10.1.3 理想保密性和單一性距離 262
10.2 數據加密標準DES 263
10.2.1 乘法加密系統 263
10.2.2 DES密碼標準 265
10.3 公共密鑰密碼系統 267
10.4 電子郵件和文件加密標準 268
10.5 通信網絡安全的加密方案 270
10.5.1 鏈路加密 270
10.5.2 端到端加密 271
本章小結 271
習題 272
第11章 網絡信息理論基礎 274
11.1 多用戶信息傳輸系統模型 275
11.2 多址接入信道及其信道容量 276
11.2.1 基本概念 276
11.2.2 二進制接入信道 276
11.2.3 多進制接入信道 279
11.2.4 高斯加性多址信道 279
11.2.5 廣播信道的信道容量 280
11.3 相關信源的基本理論 282
11.3.1 離散無記憶相關信源的編碼定理 282
11.3.2 相關信源通過接入信道的傳輸定理 284
11.3.3 相關信源的邊信息與公信息 285
本章小結 286
習題 286
附錄A 本書所用主要符號及其含義 288
附錄B 部分習題參考答案 291
參考文獻 305