深度學習原理及實踐——詳解圖像處理和信號識別領域的14個案例

目錄

第一篇深度學習基礎篇

第1章深度學習概述

1.1人工智能

1.1.1人工智能概念

1.1.2人工智能發展歷程

1.1.3人工智能學派

1.2機器學習

1.2.1機器學習問題描述

1.2.2機器學習理論基礎

1.2.3機器學習基本流程

1.2.4機器學習知識框架

1.2.5機器學習三要素

1.2.6機器學習路線圖

1.3表示學習

1.3.1表示學習基本概念

1.3.2表示學習理論基礎

1.3.3網絡表示學習流程

1.4深度學習

1.4.1深度學習與傳統機器學習處理過程

1.4.2深度學習訓練算法

1.4.3深度學習知識體系

1.4.4深度學習與機器學習、人工智能的關系

第2章深度學習的數學與優化基礎

2.1導數與梯度

2.1.1導數

2.1.2方向導數

2.1.3梯度

2.2線性代數

2.2.1線性變換

2.2.2矩陣

2.2.3基變換

2.2.4特徵值和特徵向量

2.3概率論

2.3.1概率

2.3.2隨機變量及其分佈

2.3.3隨機變量的數字特徵

2.3.4隨機信號中的常見分佈律

2.4學習規則

2.4.1赫布規則

2.4.2性能曲面和最佳點

2.5性能優化

2.5.1最速下降法

2.5.2牛頓法

2.5.3共軛梯度法

2.6信息與熵

2.6.1信息及信息量

2.6.2信息熵

2.6.3聯合熵與條件熵

2.6.4相對熵與交叉熵

2.6.5重要定理

2.6.6隨機過程的熵率

第二篇神經網絡篇

第3章人工神經網絡

3.1神經網絡

3.1.1神經網絡結構與神經元

3.1.2McCullochPitts網絡

3.1.3人工神經網絡的拓撲結構

3.1.4人工神經網絡的學習方式

3.2感知器

3.2.1單層感知器

3.2.2雙層感知器

3.2.3多層感知器

3.3BP學習算法

3.4案例1： 基於PCABP神經網絡的數字儀器識別技術

3.4.1表盤區域提取

3.4.2圖像預處理

3.4.3字符分割

3.4.4字符識別的神經網絡

3.4.5實驗設計

第4章Hopfield神經網絡

4.1離散Hopfield神經網絡

4.1.1網絡原理

4.1.2網絡架構

4.2連續Hopfield神經網絡

4.2.1能量函數與狀態方程

4.2.2網絡架構

4.2.3優化架構

4.3案例2： 基於連續Hopfield神經網絡的三維地形路徑規劃算法

4.3.1地形函數模型

4.3.2三維地形建模

4.3.3三維地形下路徑規劃算法

4.3.4模擬實驗與結果分析

第5章脈沖耦合神經網絡

5.1脈沖耦合神經網絡模型

5.1.1Eckhorn神經元模型

5.1.2脈沖耦合神經網絡模型原理

5.1.3PCNN參數的作用

5.2PCNN點火行為

5.2.1無耦合連接

5.2.2耦合連接

5.3PCNN的特性

5.3.1變閾值特性

5.3.2捕獲特性

5.3.3動態特性

5.3.4同步脈沖發放特性

5.4交叉皮層模型

5.5貝葉斯連接域神經網絡模型

5.5.1帶噪聲的神經元發放方式

5.5.2神經元輸入的貝葉斯耦合方式

5.5.3神經元之間的競爭關系

5.6案例3： 基於PCNN和圖像熵的各向異性擴散模型

5.6.1各向異性擴散模型

5.6.2IEAD模型

5.6.3PCNNIEAD模型

5.6.4模擬實驗與結果分析

第三篇捲積神經網絡篇

第6章深度捲積神經網絡

6.1深度學習框架

6.2捲積神經網絡模型

6.2.1捲積神經網絡基礎

6.2.2捲積神經網絡結構

6.3捲積神經網絡原理

6.3.1標準捲積

6.3.2捲積連接

6.3.3捲積層

6.3.4池化層

6.4激活函數

6.5學習策略

6.5.1損失函數

6.5.2批標準化

6.5.3多監督學習

6.6規範化技術

6.7常見的幾種捲積神經網絡

6.7.1殘差網絡

6.7.2遞歸結構

6.7.3多路徑結構

6.7.4稠密連接結構

6.7.5LeNet 5

6.7.6AlexNet

6.7.7GoogLeNet

6.8案例4： 基於捲積神經網絡的調制信號識別算法

6.8.1信號模型和累積量特徵

6.8.2基於捲積神經網絡的調制信號識別算法

6.8.3模擬實驗與結果分析

6.9案例5： 基於深度學習的信號性能特徵分析

6.9.1通信信號分類特徵

6.9.2基於深度神經網絡的有限元判別分析

6.9.3模擬實驗與結果分析

第7章混合空洞捲積神經網絡

7.1空洞捲積

7.1.1增加捲積多樣性的方法

7.1.2捲積多樣性的表徵

7.2空洞捲積神經網絡

7.2.1空洞捲積的原理

7.2.2空洞捲積神經網絡模型設計

7.2.3空洞捲積神經網絡模型性能評價

7.2.4模型架構

7.3混合空洞捲積神經網絡

7.3.1混合空洞捲積神經網絡原理

7.3.2混合空洞捲積神經網絡設計

7.3.3混合空洞捲積神經網絡架構

7.4混合空洞Faster RCNN模型

7.4.1RCNN模型

7.4.2Fast RCNN模型

7.4.3Faster RCNN模型

7.4.4混合空洞Faster RCNN模型原理

7.4.5HDFRCNN模型設計

7.4.6HDFRCNN模型架構

7.5多尺度空洞捲積神經網絡

7.6多尺度多深度空洞捲積神經網絡

7.7案例6： 基於多尺度空洞捲積神經網絡的遙感圖像融合算法

7.7.1常用的遙感圖像融合算法

7.7.2基於捲積神經網絡的超分辨率重構算法

7.7.3超分辨率多尺度空洞捲積神經網絡

7.7.4模擬實驗與結果分析

7.8案例7： 基於多尺度多深度空洞捲積神經網絡的遙感圖像融合算法

7.8.1多尺度多深度空洞捲積神經網絡

7.8.2模擬實驗與結果分析

第8章深度生成對抗與強化學習網絡

8.1概率生成模型

8.1.1依概率分類

8.1.2密度估計

8.1.3生成樣本

8.1.4生成模型與判別模型

8.2變分自編碼器

8.2.1含隱變量的生成模型

8.2.2推斷網絡

8.2.3生成網絡

8.2.4綜合模型

8.2.5再參數化

8.2.6訓練

8.3生成對抗網絡

8.3.1顯式與隱式密度模型

8.3.2網絡分解

8.4深度強化對抗學習網絡

8.4.1Exposure圖像增強模型

8.4.2相對對抗學習及獎勵函數

8.4.3評論家正則化策略梯度算法

8.4.4網絡結構

8.5循環生成對抗網絡

8.5.1CycleGAN結構

8.5.2CycleGAN的損失函數

8.5.3改進的CycleGAN

8.6案例8： 基於生成對抗網絡的高動態範圍圖像生成技術

8.6.1網絡模型及相關模塊

8.6.2HDRGAN目標函數

8.6.3模擬實驗與結果分析

第四篇循環遞歸神經網絡篇

第9章循環神經網絡

9.1RNN模型

9.1.1RNN原理

9.1.2RNN的損失函數

9.1.3BPTT算法

9.2基於SGD優化的RNN算法 

9.3基於RLS優化的RNN算法

9.3.1RLS算法

9.3.2RLS算法優化RNN

9.3.3RLSRNN的改進 

9.4案例9： 一種關聯RNN的非侵入式負荷辨識算法

9.4.1關聯RNN的負荷辨識算法

9.4.2模擬實驗與結果分析

9.5案例10： 基於DTCWT和RNN編碼器的圖像壓縮算法

9.5.1數學模型

9.5.2模擬實驗與結果分析

第10章深度遞歸級聯捲積神經網絡

10.1深度遞歸捲積神經網絡

10.1.1遞歸捲積神經網絡結構

10.1.2深度遞歸級聯捲積神經網絡框架

10.2雙線性遞歸神經網絡

10.2.1BRNN結構

10.2.2粒子群算法優化BRNN

10.33D捲積遞歸神經網絡 

10.3.13DCNN提取空間特徵 

10.3.2BiRNN模型

10.3.33DCRNN結構

10.4案例11： 基於註意力機制與門控循環單元的圖像去雨算法

10.4.1圖像去雨的註意力機制與門控循環網絡模型

10.4.2模擬實驗與結果分析

10.5案例12： 基於級聯遞歸殘差捲積神經網絡的單幅圖像超分辨率算法

10.5.1網絡架構

10.5.2三層跳接遞歸殘差網絡架構

10.5.3模擬實驗與結果分析

第11章長短期記憶神經網絡

11.1長短期記憶神經網絡

11.1.1前向計算

11.1.2LSTM網絡的BPTT算法

11.1.3誤差項沿時間反向傳遞

11.1.4權重梯度計算

11.2雙路捲積長短期記憶神經網絡

11.3案例13： 基於LSTM網絡的非合作水聲信號調制識別算法

11.3.1基於通信信號瞬時特徵的LSTM分類器

11.3.2評估標準

11.3.3抗噪聲性能

11.3.4模擬實驗與結果分析

11.4案例14： 混合長短期記憶網絡的指紋室外定位算法

11.4.1數據集和模型

11.4.2模擬實驗與結果分析

附錄

參考文獻