信息論與編碼

信息論與編碼研究信息傳輸與處理的一般性規律、性能極限以及高效、可靠編碼的理論和技術，是現代信息科學的理論基石。本書主要介紹香農信息理論、信源壓縮編碼、通道糾錯編碼，包含緒論、信源與熵、通道與容量、信源壓縮編碼、通道編碼、先進糾錯編碼技術6章內容。其中：第1～3章介紹信息測度體系；第4章在系統介紹信源編碼概念、無失真信源編碼定理、保真度準則下的信源編碼定理的基礎上，進一步介紹各種常用的壓縮編碼方法及其應用；第5章在推導研究有噪通道編碼定理後，對線性分組碼和捲積碼的概念、編解碼原理進行闡述，並詳細介紹循環碼編解碼方法及常用的BCH碼和RS碼；第6章介紹近年來糾錯編碼領域的新技術，如Turbo碼、LDPC、無碼率碼、極化碼以及編碼調制技術等。 本書可作為電子信息類相關專業高年級本科生和研究生的教材，也可作為相關領域的工程人員和技術人員的參考書。

目錄

第1章緒論

1．1信息的概念

1．1．1廣義信息的定義

1．1．2香農信息的定義

1．2信息論與編碼的發展

1．2．1信息理論的形成

1．2．2編碼技術的發展及應用 

1．3信息論與信息科學

第2章信源與熵

2．1信源模型

2．2離散隨機變量的熵

2．2．1自信息

2．2．2信息熵

2．2．3條件熵與聯合熵

2．2．4熵的基本性質

2．2．5離散無記憶的擴展信源

2．2．6離散平穩信源的熵

2．2．7馬爾可夫信源的熵

2．2．8信源的剩餘度

2．3連續隨機變量的微分熵

2．3．1微分熵

2．3．2微分熵的性質

2．4Kullback熵

2．4．1Kullback熵的定義

2．4．2Kullback熵的性質

2．4．3Kullback熵與熱力學第二定律的關系

2．5Fano不等式

小結

習題

第3章通道與容量

3．1通道模型

3．2平均互信息

3．2．1通道疑義度

3．2．2平均互信息及其性質

3．2．3序列形式的平均互信息

3．3離散通道及其容量

3．3．1通道容量的定義

3．3．2簡單離散通道的通道容量

3．3．3對稱離散通道的通道容量

3．3．4一般離散通道的通道容量

3．3．5離散無記憶N次擴展通道的通道容量

3．3．6並聯通道與串聯通道的通道容量

3．4連續通道及其容量

3．4．1基本連續通道

3．4．2多維連續通道

3．5波形通道與香農公式

3．5．1帶限高斯白噪聲加性波形通道的通道容量

3．5．2香農公式的意義與啟發

小結

習題

第4章信源壓縮編碼

4．1信源編碼的基本概念

4．1．1信源編碼器

4．1．2唯一可解碼與即時碼

4．1．3Kraft不等式

4．2無失真信源編碼定理

4．2．1漸近等同分割性

4．2．2等長信源編碼定理

4．2．3可變長信源編碼定理

4．3保真度準則下的信源編碼定理

4．3．1信息率失真函數的定義及性質

4．3．2保真度準則下的信源編碼定理

4．4常用的信源壓縮編碼方法

4．4．1預測編碼

4．4．2變換編碼

4．4．3統計編碼

4．4．4通用編碼

4．5壓縮編碼應用綜述

4．5．1音頻壓縮標準

4．5．2靜止圖像壓縮標準

4．5．3視頻壓縮標準

小結

習題

第5章通道編碼

5．1通道編碼的基本概念

5．1．1通道編碼的一般方法

5．1．2通道編碼的基本參數

5．1．3通道解碼規則

5．2有噪通道編碼定理

5．2．1聯合漸近等同分割性與聯合典型序列

5．2．2香農第二定理(有噪通道編碼定理)

5．3線性分組碼

5．3．1線性分組碼的基本概念

5．3．2線性分組碼的解碼方法

5．3．3線性分組碼的糾錯能力

5．3．4線性分組碼的派生與組合

5．4循環碼的基本原理

5．4．1基本概念

5．4．2循環碼的編碼及其實現

5．4．3循環碼解碼及其實現

5．4．4BCH碼與RS碼

5．5捲積碼

5．5．1捲積碼的定義

5．5．2捲積碼的表示

5．5．3捲積碼的解碼

5．5．4捲積碼的應用

小結

習題

第6章先進糾錯編碼技術

6．1Turbo碼

6．1．1Turbo碼的分類

6．1．2Turbo碼的編碼

6．1．3Turbo碼的迭代解碼

6．1．4Turbo碼的性能分析與應用

6．2低密度校驗碼

6．2．1低密度校驗碼的概念及圖模型

6．2．2低密度校驗碼的構造與編碼方法

6．2．3低密度校驗碼的解碼算法

6．2．4低密度校驗碼的應用

6．3無碼率碼

6．3．1LT碼

6．3．2Raptor碼

6．3．3Spinal碼

6．4極化碼

6．4．1通道極化現象

6．4．2通道極化定理

6．4．3Polar碼構造原理

6．4．4Polar碼編碼原理

6．4．5Polar碼解碼方法

6．5編碼調制技術

6．5．1TCM

6．5．2多級編碼

6．5．3BICMID

小結

習題

參考文獻