TensorFlow神經網絡到深度學習

張德豐，男，1963年9月生，遼寧大連人。
1993年畢業於哈爾濱工業大學航天學院，獲得工學碩士學位。現佛山科學技術學院，電子信息工程學院計算機系，計算機應用技術教授，學院數字圖像處理與識別學術帶頭人。

目錄    
第1章走進TENSORFLOW 1    
1．1 TensorFlow介紹1    
1．1．1 TensorFlow特性1    
1．1．2誰可以使用TensorFlow 2    
1．1．3為什麼Google要開源這個 3    
1．2 TensorFlow的環境搭建4    
1．2．1安裝環境介紹4    
1．2．2安裝TensorFlow 5    
1．2．3 Cuda和CuDNN的安裝7    
1．2．4 Geany開發環境9    
1．3 TensorFlow基本使用10    
1．3． 1計算圖10    
1．3．2構建圖10    
1．3．3在一個會話中啟動圖11    
1．3．4交互式使用12    
1．3．5 Fetch 12    
1．3．6 Feed 13    
1．4變量13    
1．5 TensorFlow的隊列16    
1．5．1隊列的創建16    
1．5．2線程同步與停止19    
1．5．3隊列中數據的讀取20    
1．6 TensorBoard可視化23    
1．6．1在TensorBoard中查看    圖結構24    
1．6．2數據變化趨勢25    

第2章計算機視覺與深度學習28    
2．1計算機視覺28    
2．1．1人類視覺的啟迪28    
2．1．2計算機視覺的難點和    人工神經網絡29    
2．1．3深度學習30    
2．1． 4前深度學*時代的    計算機視覺31    
2．1．5仿生學角度看深度學習31    
2．1．6應用深度學習解決計算機    視覺問題32    
2．2深度學習在視覺上的應用33    
2．2． 1人臉識別33    
2．2．2圖片問答問題33    
2．2．3物體檢測問題34    
2．2．4物體跟蹤36    
2．3計算機視覺的學習方式和    未來趨勢36    
2．4機器學習37    
2．4．1機器學習發展的歷程37    
2．4．2機器學習的步驟38    
2．4．3機器學習的分類38    
2．4．4機器學習的基本算法40   
 
第3章深度神經網絡的基礎42    
3．1生物神經元42    
3．2人工神經元43    
3．2．1人工神經元的數學模型43    
3．2．2人工神經網絡44    
3．2．3激活函數45    
3．2．4神經元之間的連接形式46    
3．2．5人工神經網絡的分類47    
3．3激活函數47    
3．3．1 sigmoid激活函數47    
3．3．2 tanh激活函數49    
3．3．3 relu激活函數50    
3．3．4 dropout激活函數53    
3．4 softmax處理分類問題54    
3．4．1什麼是softmax 54    
3．4．2 softmax原理54    
3．5損失函數56    
3．5．1均值平方差56    
3．5．2交叉熵56    
3．5．3自定義損失函數57    
3．6梯度下降法59    
3．6．1梯度下降法的作用與分類59    
3．6．2退化學習率61    
3．7優化函數62    
3．7．1隨機梯度下降優化算法62    
3．7．2基於衝量優化算法63    
3．7．3 Adadelta優化算法64    
3． 7．4 Adam優化算法65    
3．8擬合67    
3．8．1過擬合和欠擬合68    
3．8．2正則化的方法68    

第4章全連接神經網絡72    
4．1前饋神經網絡簡介72    
4．2感知機74    
4．2．1感知機定義74    
4．2．2學習策略78    
4．2．3感知機學習算法78    
4．3全連接83    
4．3．1全連接結構83    
4．3．2前向傳播算法84    
4．4線性模型的局限性87    
4．5多層網絡解決異域運算91    
4．6全連接神經網絡的經典實戰93    
   
第5章捲積神經網絡99    
5． 1人類視覺原理99    
5．2捲積運算100    
5．2．1捲積運算101    
5．2．2捲積函數實現102    
5．2．3標註圖像感興趣的區域106    
5．2．4池化運算107    
5．2．5加強捲積特徵提取110    
5．3反捲積、反池化操作111    
5．3．1反捲積操作111    
5．3．2反池化操作114    
5．4捲積神經網絡的介紹117    
5．4．1捲積神經網絡的一般框架117    
5．4．2捲積神經網絡的訓練119    
5．4．3利用捲積神經網絡實現    數據集分類121    
5．5圖像數據處理126    
5．5．1圖像編碼處理127    
5．5．2翻轉圖像128    
5．5．3圖像色彩調整129    
5．5．4圖像標準化處理132    
5．5．5調整圖像大小133    
5．5．6圖像的標註框137  
  
第6章*捲積神經網絡140    
6．1 LeNet-5捲積神經網絡140    
6．1．1 LeNet-5模型140    
6．1．2 TensorFlow實現簡單的    捲積神經網絡142    
6．2 AlexNet捲積神經網絡145    
6． 2．1 AlexNet概述145    
6．2．2 AlexNet結構148    
6．2．3 AlexNet實現150    
6．3 VGGNet捲積神經網絡154    
6．3．1 VGGNet模型結構155    
6．3．2 VGGNet實現157    
6． 4 Inception v3捲積神經網絡162    
6．4．1幾種Inception模型162    
6．4．2 Inception v3原理及實現163    
6．5 ResNet捲積神經網絡175    
6．5．1 ResNet模型結構175    
6．5．2 ResNet實現177    

第7章循環神經網絡184    
7．1 RNN基礎概念和結構184    
7．2 RNN前後向傳播算法186    
7．2．1 RNN前向傳播186    
7．2．2 RNN後向傳播187    
7．3循環神經網絡的梯度191    
7．4 LSTM單元193    
7．4．1 LSTM單元基本結構193    
7．4． 2 LSTM的變體200    
7．5 RNN的實現201    
7．6自然語言建模與詞向量214    
7．6．1統計學語言模型214    
7．6．2獨熱編碼217    
7．6．3詞向量與Word2vec 217    
7．7 LSTM實現語音識別226    
7．7．1語音特徵介紹226    
7．7．2算法流程227    
7．7．3 TensorFlow實現語音識別228  
  
第8章對抗神經網絡235    
8．1理論知識235    
8．1．1 GAN網絡結構235    
8．1．2 GAN原理236    
8．1．3基本架構236    
8．1．4 GAN的特點及優缺點237    
8．2 DCGAN網絡243    
8．3 InfoGAN網絡248    
8．4 WGAN-GP網絡255    
8．4．1 WGAN網絡的理論255    
8．4．2 WGAN網絡的    改進WGAN-GP網絡256    
8．4．3 WGAN -GP網絡的實現257    
8．5 SRGAN網絡260    
8．5．1超分辨率技術260    
8．5．2 ESPCN網絡實現數據的    超分辨率重建261    

第9章其他監督學習264    
9．1支持向量機264    
9．1．1支持向量機的含義264    
9．1．2線性不可分支持向量機與    核函數273    
9．1．3 SMO原理及實現280    
9．2樸素貝葉斯286    
9．2．1統計學知識286    
9．2．2樸素貝葉斯的模型287    
9．2．3樸素貝葉斯的推斷過程287    
9．2．4樸素貝葉斯的參數估計288    
9．2．5樸素貝葉斯算法過程289    
9．2．6樸素貝葉斯的實現290    
9．3決策樹292    
9．3．1認識決策樹293    
9．3．2 ID3算法的介紹294    
9．3．3 C4．5算法的介紹296    
9．3．4決策樹的實現297    
9．4 k近鄰算法300    
9．4．1 kNN算法三要素300    
9．4．2 kd樹實現原理301    
9．4．3 kNN算法的優缺點302    
9．4．4 kNN算法的實現303    

第10章非監督學習305    
10．1主成分分析305    
10 ．1．1 PCA思想305    
10．1．2基於*小投影距離306    
10．1．3基於*大投影方差307    
10．1．4 PCA算法流程308    
10．1．5 PCA的優缺點308    
10．1．6 PCA的實現309    
10．2 k均值聚類312    
10．2 ．1距離測試312    
10．2．2 k均值聚類原理317    
10．2．3傳統k均值算法流程318    
10．2．4 K-Means++聚類算法322    
10．3自組織映射神經網絡324    
10． 3．1自組織映射算法325    
10．3．2與k均值的比較325    
10．4受限玻爾茲曼機330    
10．5譜聚類336    
10．5．1譜聚類的基礎知識336    
10 ．5．2譜聚類之切圖聚類339    
10．5．3譜聚類算法的實現343  
  
第11章自動編碼機345    
11．1自動編碼機原理345    
11．2標準自動編碼機346    
11 ．3稀疏自動編碼機351    
11．4去噪自動編碼機355    
11．5捲積自動編碼機360 
   
第12章強化學習366    
12．1強化學習的概述366    
12．2強化學習的學習過程367    
12．3 OpenAI Gym原理及應用369    
12．4 Q learning原理及應用371    
12．5 DQN原理及應用377  
  
參考文獻384