用 Python 實現深度學習框架

張覺非 陳震

  • 出版商: 人民郵電
  • 出版日期: 2020-10-01
  • 定價: $534
  • 售價: 7.9$422
  • 語言: 簡體中文
  • 頁數: 271
  • 裝訂: 平裝
  • ISBN: 7115548374
  • ISBN-13: 9787115548375
  • 相關分類: DeepLearning
  • 立即出貨 (庫存 < 4)

  • 用 Python 實現深度學習框架-preview-1
  • 用 Python 實現深度學習框架-preview-2
用 Python 實現深度學習框架-preview-1

買這商品的人也買了...

商品描述

本書帶領讀者用原生Python語言和Numpy線性代數庫實現一個基於計算圖的深度學習框架MatrixSlow(類似簡易版的PyTorch、TensorFlow或Caffe)。全書分為三個部分。第一部分是原理篇,實現了MatrixSlow框架的核心基礎設施,並基於此講解了機器學習與深度學習的概念和原理,比如模型、計算圖、訓練、梯度下降法及其各種變體。第二部分是模型篇,介紹了多種具有代表性的模型,包括邏輯回歸、多層全連接神經網絡、因子分解機、Wide & Deep、DeepFM、循環神經網絡以及捲積神經網絡,這部分除了著重介紹這些模型的原理、結構以及它們之間的聯系外,還用MatrixSlow框架搭建並訓練它們以解決實際問題。第三部分是工程篇,討論了一些與深度學習框架相關的工程問題,內容涉及訓練與評估,模型的保存、導入和服務部署,分佈式訓練,等等。

作者簡介

张觉非

本科毕业于复旦大学计算机系,于中国科学院古脊椎动物与古人类研究所取得古生物学硕士学位,目前在互联网行业从事机器学习算法相关工作。

陈震

硕士毕业于北京大学。现任奇虎360智能工程部总监、负责人,带领团队建设集团的机器学习计算调度平台、机器学习建模平台、机器学习推理引擎以及推荐平台等AI基础设施。

目錄大綱

第 一部分 原理篇

第 1章 機器學習與模型 2

1.1 模型 2

1.2 參數與訓練 4

1.3 損失函數 9

1.4 計算圖的訓練 10

1.5 小結 12

第 2章 計算圖 13

2.1 什麽是計算圖 13

2.2 前向傳播 14

2.3 函數優化與梯度下降法 18

2.4 鏈式法則與反向傳播 29

2.5 在計算圖上執行梯度下降法 36

2.6 節點類及其子類 36

2.7 用計算圖搭建ADALINE並訓練 44

2.8 小結 48

第3章 優化器 49

3.1 優化流程的抽象實現 49

3.2 BGD、SGD和MBGD 53

3.3 梯度下降優化器 58

3.4 樸素梯度下降法的局限 60

3.5 沖量優化器 61

3.6 AdaGrad優化器 62

3.7 RMSProp優化器 64

3.8 Adam優化器 65

3.9 小結 68

第二部分 模型篇

第4章 邏輯回歸 70

4.1 對數損失函數 70

4.2 Logistic函數 73

4.3 二分類邏輯回歸 75

4.4 多分類邏輯回歸 78

4.5 交叉熵 81

4.6 實例:鳶尾花 85

4.7 小結 88

第5章 神經網絡 90

5.1 神經元與激活函數 90

5.2 神經網絡 95

5.3 多層全連接神經網絡 99

5.4 多個全連接層的意義 101

5.5 實例:鳶尾花 108

5.6 實例:手寫數字識別 110

5.7 小結 116

第6章 非全連接神經網絡 117

6.1 帶二次項的邏輯回歸 117

6.2 因子分解機 124

6.3 Wide & Deep 132

6.4 DeepFM 137

6.5 實例:泰坦尼克號幸存者 141

6.6 小結 150

第7章 循環神經網絡 151

7.1 RNN的結構 151

7.2 RNN的輸出 152

7.3 實例:正弦波與方波 155

7.4 變長序列 159

7.5 實例:3D電磁發音儀單詞識別 164

7.6 小結 167

第8章 捲積神經網絡 168

8.1 蒙德里安與莫奈 168

8.2 濾波器 170

8.3 可訓練的濾波器 176

8.4 捲積層 183

8.5 池化層 186

8.6 CNN的結構 189

8.7 實例:手寫數字識別 190

8.8 小結 194

第三部分 工程篇

第9章 訓練與評估 196

9.1 訓練和Trainer訓練器 196

9.2 評估和Metrics節點 202

9.3 混淆矩陣 204

9.4 正確率 204

9.5 查準率 206

9.6 查全率 206

9.7 ROC曲線和AUC 208

9.8 小結 211

第 10章 模型保存、預測和服務 212

10.1 模型保存 213

10.2 模型加載和預測 216

10.3 模型服務 216

10.4 客戶端 222

10.5 小結 223

第 11章 分佈式訓練 224

11.1 分佈式訓練的原理 224

11.2 基於參數服務器的架構 230

11.3 Ring AllReduce原理 241

11.4 Ring AllReduce架構實現 248

11.5 分佈式訓練性能評測 257

11.6 小結 259

第 12章 工業級深度學習框架 261

12.1 張量 262

12.2 計算加速 263

12.3 GPU 265

12.4 數據接口 266

12.5 模型並行 266

12.6 靜態圖和動態圖 267

12.7 混合精度訓練 268

12.8 圖優化和編譯優化 270

12.9 移動端和嵌入式端 270

12.10 小結 271