深度學習：捲積神經網絡技術與實踐

高敬鵬

博士學歷，碩士生導師，2002年至今，任職於哈爾濱工程大學信息與通信工程學院。
研究方向主要包括人工智能、機器學習、圖像處理、信號檢測、目標識別、現代通信技術與電子系統等；
先後參與多項國防預研、國家省部級科學基金、橫向科研和教改等項目，其中主持科研項目6項，
參與科研項目10餘項；授權發明專利2項，受理髮明專利10餘項，軟件著作權2項，實用新型專利2項；
發表學術論文20餘篇，合著專著1部，主編教材7部；2014年獲中國高等教育學會等主辦的“
第三屆高等學校自製實驗教學儀器設備評選”全國一等獎1項；2017獲黑龍江省高等教育教學成果二等獎1項；
2018年獲中國高等教育學會主辦的“全國高校教師教學創新大賽”全國三等獎1項。

目錄
前言
第1章深度學習簡介
1.1機器學習與深度學習
1.2 TensorFlow概述
1.3環境搭建
1.3.1在Windows系統下安裝Anaconda
1.3.2在Anaconda下安裝TensorFlow與Keras
1.3.3 Spyder編輯器

第2章Python基礎
2.1數據類型
2.1.1數值類型
2.1.2字符串類型
2.1.3布爾類型
2.2變量與常量
2.3運算符
2.3.1運算符概述
2.3.2運算符優先級
2.4選擇與循環
2.4.1 if語句
2.4.2 while循環
2.4.3 for循環
2.4.4 break和continue
2.5列表與元組
2.5.1創建
2.5.2查詢
2.5.3修改
2.5.4刪除
2.6字典
2.6.1字典的創建
2.6.2字典的常規操作
2.6.3字典的遍歷
2.7函數
2.7.1函數的定義與調用
2.7.2參數傳遞
2.8面向對象編程
2.8.1類與對象
2.8.2繼承與多態
2.9思考與練習

第3章神經網絡基礎
3.1單層神經網絡
3.2多層神經網絡
3.2.1隱藏層
3.2.2輸入層與輸出層
3.3激活函數
3.3.1 Sigmoid函數
3.3.2 Tanh函數
3.3 .3 Relu函數
3.3.4 Softmax函數
3.4神經網絡工作過程
3.5損失函數
3.5.1均方差函數
3.5.2交叉熵函數
3.6優化算法
3.7反向傳播
3.8泛化能力
3.9多層感知器
3.10 MNIST數據集
3.10.1下載MNIST數據集
3.10.2數據預處理
3.11 Keras實現感知器的手寫體識別
3.11.1單層感知器手寫體識別
3.11.2多層感知器手寫體識別
3.12思考與練習

第4章捲積神經網絡
4.1捲積神經網絡結構及原理
4.1.1捲積神經網絡特點
4.1.2捲積層
4.1.3池化層
4.1.4全連接層
4.2捲積神經網絡工作過程
4.3簡單捲積神經網絡實現MNIST分類
4.3.1 MNIST數據集預處理
4.3.2簡單捲積神經網絡搭建
4.4 CIFAR-10數據集
4.4.1下載CIFAR-10數據集
4.4.2 CIFAR-10數據集預處理
4.5簡單捲積神經網絡實現CIFAR -10分類
4.6思考與練習

第5章經典捲積網絡結構
5.1 LeNet概述
5.2 LeNet實現MNIST分類
5.2.1 MNIST數據預處理
5.2.2基於Keras搭建LeNet網絡結構
5.2.3對LeNet網絡模型進行編譯、訓練、評估與預測
5.3 AlexNet概述
5.4 AlexNet實現MNIST分類
5.4.1基於Keras搭建AlexNet網絡結構
5.4.2對AlexNet網絡模型進行編譯、訓練、評估與預測
5.5 VGG16概述
5.6 VGG16實現MNIST分類
5.6.1基於Keras搭建VGG16網絡結構
5.6.2對VGG16網絡模型進行評估與預測
5.7思考與練習

第6章經典捲積網絡結構進階
6.1 GoogLeNet概述
6.2 GoogLeNet實現MNIST分類
6.2.1基於Keras搭建GoogLeNet網絡結構
6.2.2對GoogLeNet進行訓練、評估與預測
6.3 ResNet概述
6.4 ResNet50實現MNIST分類
6.4.1基於Keras搭建ResNet50網絡結構
6.4.2對ResNet50網絡模型進行訓練、評估與預測
6.5思考與練習

第7章遷移學習
7.1基於捲積網絡實現遷移學習
7.2 InceptionV3實現遷移學習
7.3 Xception實現遷移學習
7.4 MobileNet實現遷移學習
7.5簡單捲積網絡實現遷移學習
7.6思考與練習

第8章循環神經網絡
8.1循環神經網絡概述
8.2長短期記憶網絡
8.2.1 LSTM前向傳播
8.2.2 LSTM反向傳播
8.3 Reuters數據集
8.3.1 Reuters數據集概述
8.3.2文本信息預處理
8.4簡單RNN實現Reuters分類
8.5 LSTM實現Reuters分類
8.6思考與練習

第9章強化學習
9.1初識強化學習
9.1.1什麼是強化學習
9.1.2強化學習能解決什麼類型的問題
9.1.3強化學習如何解決問題
9.2強化學習理論基礎
9.2.1基本組成元素
9.2.2基本模型
9.2.3價值函數
9.3求解強化學習——有模型
9.3.1動態規劃與貝爾曼方程
9.3.2策略疊代
9.3.3值疊代
9.3.4值疊代算法實現格子世界
9.4求解強化學習——無模型
9.4.1蒙特卡羅算法
9.4.2時間差分法
9.4 .3 Q-learning算法
9.4.4 Q-learning實現格子世界
9.5思考與練習

第10章深度強化學習
10.1深度強化學習框架
10.2 TensorFlow編程
10.2.1 TensorFlow的計算模型——計算圖
10.2.2 TensorFlow的數據模型——張量
10.2.3 TensorFlow的運行模型——會話
10.2.4 TensorFlow變量
10.2.5 TensorFlow共享變量
10.3 Gym的安裝及使用
10.3.1 Gym的安裝
10.3.2 Gym的使用
10.4基於值的算法更新
10.4.1 Q-learning實