TensorFlow自然語言處理及應用

目錄

CONTENTS

第1章 TensorFlow與編程 1

1.1 語言與系統的支持 1

1.2 TensFlow的特點 2

1.3 TensorFlow的環境搭建 3

1.3.1 安裝環境介紹 3

1.3.2 安裝TensorFlow 5

1.3.3 安裝測試 6

1.4 張量 7

1.4.1 張量的概念 7

1.4.2 張量的使用 8

1.4.3 NumPy庫 9

1.4.4 張量的階 10

1.4.5 張量的形狀 10

1.5 認識變量 11

1.5.1 變量的創建 11

1.5.2 變量的初始化 19

1.6 矩陣的操作 21

1.6.1 矩陣的生成 22

1.6.2 矩陣的變換 25

1.7 圖的實現 31

1.8 會話的實現 34

1.9 讀取數據方式 36

1.9.1 列表格式 37

1.9.2 讀取圖像數據 38

第2章 自然語言處理與深度學習基礎 40

2.1 自然語言概述 40

2.1.1 自然語言處理面臨的困難 40

2.1.2 自然語言處理的發展趨勢 41

2.1.3 自然語言處理的特點 42

2.2 NLP技術前沿與未來趨勢 43

2.2.1 挑戰與突破 43

2.2.2 人機交互的未來 43

2.2.3 未來發展趨勢與展望 44

2.2.4 技術挑戰與解決路徑 44

2.3 深度學習 44

2.3.1 深度學習背景 45

2.3.2 深度學習的核心思想 46

2.3.3 深度學習的應用 47

2.4 深度學習的優勢與劣勢 51

第3章 神經網絡算法基礎 52

3.1 激活函數及實現 53

3.1.1 激活函數的用途 53

3.1.2 幾種激活函數 53

3.1.3 幾種激活函數的繪圖 57

3.2 門函數及實現 59

3.3 單個神經元的擴展及實現 62

3.4 構建多層神經網絡 65

第4章 詞嵌入 69

4.1 詞嵌入概述 69

4.2 分佈式表示 69

4.2.1 分佈式假設 70

4.2.2 共現矩陣 70

4.2.3 存在的問題 73

4.3 jieba分詞處理 73

4.3.1 jieba庫的三種模式和常用函數 74

4.3.2 jieba庫分詞的其他操作 75

4.3.3 中文詞頻統計實例 81

4.4 離散表示 82

4.4.1 one-hot編碼 82

4.4.2 詞袋模型 87

4.4.3 TF-IDF算法 90

4.4.4 n-gram模型 92

4.5 word2vec模型 98

4.5.1 word2vec模型介紹 98

4.5.2 word2vec模型結構 103

4.5.3 Skip-gram算法 105

4.5.4 CBOW算法 106

4.5.5 CBOW算法與Skip-gram算法的對比 107

4.5.6 算法改進 108

4.5.7 訓練概率 109

4.5.8 word2vec實現 110

第5章 捲積神經網絡分析與文本分類 120

5.1 全連接網絡的局限性 120

5.2 捲積神經網絡的結構 121

5.2.1 捲積層 122

5.2.2 池化層 129

5.2.3 全連接層 131

5.3 捲積神經網絡的訓練 131

5.3.1 池化層反向傳播 132

5.3.2 捲積層反向傳播 134

5.4 捲積神經網絡的實現 139

5.4.1 識別0和1數字 139

5.4.2 預測MNIST數字 145

5.5 NLP的捲積 149

5.5.1 NLP捲積概述 149

5.5.2 用於文本分類的CNN 151

第6章 幾種經典的捲積神經網絡 161

6.1 AlexNet 161

6.1.1 AlexNet的結構 161

6.1.2 AlexNet的亮點 162

6.1.3 AlexNet的實現 163

6.2 DeepID網絡 168

6.3 VGGNet 169

6.3.1 VGGNet的特點 169

6.3.2 VGGNet的結構 169

6.3.3 VGGNet的實現 171

6.4 Inception Net 175

6.4.1 Inception Net的原理 175

6.4.2 Inception Net的經典應用 176

6.5 ResNet 181

6.5.1 ResNet的結構 181

6.5.2 ResNet的實現 184

第7章 循環神經網絡及語言模型 190

7.1 循環神經網絡概述 190

7.1.1 循環神經網絡的原理 191

7.1.2 循環神經網絡的簡單應用 194

7.2 損失函數 195

7.3 梯度求解 196

7.3.1 E3關於參數V的偏導數 197

7.3.2 E3關於參數W的偏導數 197

7.3.3 E3關於參數U的偏導數 197

7.3.4 梯度消失問題 198

7.4 循環神經網絡的經典應用 198

7.4.1 實現二進制數加法運算 198

7.4.2 實現擬合回聲信號序列 202

7.4.3 基於字符級循環神經網絡的語言模型 209

7.4.4 使用PyTorch實現基於字符級循環神經網絡的語言模型 213

第8章 長短期記憶及自動生成文本 220

8.1 長短期記憶網絡 220

8.1.1 LSTM核心思想 221

8.1.2 LSTM詳解與實現 222

8.2 窺視孔連接 230

8.3 GRU網絡對MNIST數據集分類 231

8.4 雙向循環神經網絡對MNIST數據集分類 233

8.5 CTC實現端到端訓練的語音識別模型 237

8.6 LSTM生成文本預測 244

8.6.1 模型訓練 244

8.6.2 預測文本 246

第9章 其他網絡的經典分析與應用 248

9.1 自編碼網絡及實現 248

9.1.1 自編碼網絡的結構 248

9.1.2 自編碼網絡的代碼實現 249

9.2 棧式自編碼器及實現 256

9.2.1 棧式自編碼概述 256

9.2.2 棧式自編碼訓練 256

9.2.3 棧式自編碼實現MNIST手寫數字分類 257

9.2.4 棧式自編碼器的應用場合與實現 259

9.3 變分自編碼及實現 268

9.3.1 變分自編碼原理 268

9.3.2 變分自編碼模擬生成MNIST數據 269

9.4 條件變分自編碼及實現 275

9.4.1 條件變分自編碼概述 275

9.4.2 條件變分自編碼網絡生成MNIST數據 275

參考文獻 281