PaddlePaddle深度學習實戰 PaddlePaddle深度学习实战

劉祥龍
北航計算機學院、軟件開發環境國家重點實驗室副教授。主要研究視覺計算、深度學習、群體智能等，在國際上較系統地研究了多模式哈希和互補多哈希表檢索方法。近年來，參與“核高基”國家重大專項、國家自然科學基金重大專項等多個國家課題。發表CVPR、ICCV、AAAI、IJCAI、IEEE TIP等人工智能、計算機視覺領域國際知名會議和期刊論文40餘篇。擔任SCI期刊FCS青年副主編，人工智能/多媒體會議ACM MM、AAAI和PCM等多個知名國際會議的程序委員會委員，以及IEEE TIP、TNNLS、TMM等十餘個國際知名期刊和會議審稿人。

楊晴虹
北航副教授，高級工程師。北航博士，美國南康涅狄格州立大學圖書信息科學訪問學者，美國耶魯大學技術創新實驗室數據分析專家。發表國際論文幾十篇，主要研究領域有機器學習、知識挖掘、大數據分析、項目管理和科研管理等。在機器學習、深度學習、神經網絡等領域有豐富的實踐經驗，曾主導和參與多個相關的項目並取得成功。

譚中意
百度研發工程師，負責百度開源的整體推進工作，有近20年的開發和運營經驗。在百度多個部門工作過，現負責以平臺化/開源的方式提升百度內部整體的研發效率，並包括組織開源技術委員會，對百度對外的開源進行整體的推動工作。中國開源推進聯盟（COPU）副秘書長。

蔣曉琳
百度公司技術管理部高級工程師，之前任職於中國信息通信研究院。曾參與主導超過30餘項國家/行業標準，以及多項國際標準。在人工智能、雲計算、大數據等領域參與申報和管理的國家重大專項達10餘個。

白浩傑
北航特聘講師，美國佛羅裏達國際大學高性能數據實驗室訪問學者，致力於移動對像數據庫、數據可視化、機器學習、深度學習等方向的研究。徑點科技有限公司高級工程師，尚矽谷IT教育前端教學總監。

第1章數學基礎與Python庫1 
1.1 Python是進行人工智能編程的
主要語言1 
1.2數學基礎4 
1.2.1線性代數基礎4 
1.2.2微積分基礎8 
1.3 Python庫的操作17 
1.3 .1 numpy操作17 
1.3.2 matplotlib操作23 
本章小結27 

第2章深度學習概論與PaddlePaddle入門28 
2.1人工智能、機器學習與深度學習29 
2.1.1人工智能30 
2.1.2機器學習30 
2.1.3深度學習31 
2.2深度學習的發展歷程32 
2.2.1神經網絡的第一次高潮32 
2.2.2神經網絡的第一次寒冬33 
2.2.3神經網絡的第二次高潮34 
2.2.4神經網絡的第二次寒冬35 
2.2.5深度學習的來臨35 
2.2.6深度學習崛起的時代背景36 
2.3深度學習的應用場景36 
2.3.1圖像與視覺37
2.3.2語音識別37 
2.3.3自然語言處理38 
2.3.4個性化推薦38 
2.4常見的深度學習網絡結構39 
2.4.1全連接網絡結構39 
2.4.2捲積神經網絡40 
2.4.3循環神經網絡41 
2.5機器學習回顧41 
2.5.1線性回歸的基本概念42 
2.5.2數據處理44 
2.5.3模型概覽45 
2.5.4效果展示46 
2.6深度學習框架簡介47 
2.6.1深度學習框架的作用47 
2.6. 2常見的深度學習框架48 
2.6.3 PaddlePaddle簡介49 
2.6.4 PaddlePaddle使用49 
2.7 PaddlePaddle實現51 
本章小結60 

第3章深度學習的單層網絡61 
3.1 Logistic回歸模型62 
3.1.1 Logistic回歸概述62 
3.1. 2損失函數64 
3.1.3 Logistic回歸的梯度下降66 
3.2實現Logistic回歸模型71 
3.2.1 Python版本72 
3.2.2 PaddlePaddle版本81 
本章小結90

第4章淺層神經網絡92 
4.1神經網絡92 
4.1.1神經網絡的定義及其結構92 
4.1.2神經網絡的計算94 
4.2 BP算法100 
4.2.1邏輯回歸與BP算法101 
4.2.2單樣本雙層神經網絡的BP算法101 
4.2.3多個樣本神經網絡BP算法105 
4.3 BP算法實踐108 
4.3.1 Python版本109 
4.3.2 PaddlePaddle版本116 
本章小結122 

第5章深層神經網絡123 
5.1深層網絡介紹123 
5.1.1深度影響算法能力124 
5.1.2網絡演化過程與常用符號125 
5.2傳播過程127 
5.2.1神經網絡算法核心思想127 
5.2.2深層網絡前向傳播過程128 
5.2.3深層網絡後向傳播過程129 
5.2.4傳播過程總結130 
5.3網絡的參數132 
5.4代碼實現133 
5.4.1 Python版本133 
5.4.2 PaddlePaddle版本136 
本章小結140 

第6章捲積神經網絡141 
6.1圖像分類問題描述141
6.2捲積神經網絡介紹142 
6.2.1捲積層142 
6.2.2 ReLU激活函數147 
6.2.3池化層148 
6.2.4 Softmax分類層149 
6.2.5主要特點151 
6.2.6經典神經網絡架構152 
6.3 PaddlePaddle實現159 
6.3.1數據介紹159 
6.3.2模型概覽160 
6.3.3配置說明160 
6.3.4應用模型168 
本章小結169 

第7章個性化推薦170 
7.1問題描述170 
7.2傳統推薦方法171 
7.2.1基於內容的推薦172 
7.2.2協同過濾推薦173 
7.2.3混合推薦175 
7.3深度學習推薦方法176 
7.3.1 YouTube的深度神經網絡推薦系統176 
7.3.2融合推薦系統178 
7.4個性化推薦系統在PaddlePaddle上的實現180 
7.4.1數據準備180 
7.4.2模型配置182 
7.4.3模型訓練184 
7.4.4模型測試188 
本章小結188

第8章個性化推薦的分佈式實現190 
8.1 PaddlePaddle Cloud介紹190 
8.2 PaddlePaddle Cloud使用192 
8.2.1創建集群192 
8.2.2配置集群192 
8.2.3配置客戶端193 
8.3個性化推薦在PaddlePaddle Cloud上的實現194 
8.3.1提交單節點任務194 
8.3.2個性化推薦在PaddlePaddle Cloud上的實現196 
本章小結199 

第9章廣告CTR預估200 
9.1 CTR預估簡介200 
9.1.1 CTR定義201 
9.1.2 CTR與推薦算法的異同202 
9.1.3 CTR預估的評價指標202 
9.2 CTR預估的基本過程205 
9.2.1 CTR預估的三個階段206 
9.2.2 CTR預估中的特徵預處理206 
9.3 CTR預估的常見模型208 
9.3.1 LR模型208 
9.3.2 GBDT模型210 
9.3.3 GBDT+LR模型212 
9.3.4 FM+DNN模型214 
9.3.5 MLR模型215 
9.4 CTR預估在工業上的實現217
9.5 CTR預估在PaddlePaddle上的實現218 
9.5.1數據集218 
9.5.2預測模型選擇和構建219 
9.5.3 PaddlePaddle完整實現222 
本章小結226 

第10章算法優化227 
10.1基礎知識227 
10.1.1訓練、驗證和測試集227 
10.1.2偏差和方差228 
10.2評估229 
10.2.1選定評估目標229 
10.2.2疊代過程230 
10.2.3欠擬合和過擬合230 
10.3調優策略231 
10.3.1降低偏差231 
10.3.2降低方差236 
10.4超參數調優242 
10.4.1隨機搜索和網格搜索242 
10.4.2超參數範圍243 
10.4.3分階段搜索243 
10.4.4例子：對學習率的調整244 
本章小結245