自然語言處理——基於深度學習的理論和實踐（微課視頻版）

楊華，博士，專註於人工智能研究，專業領域涵蓋自然語言處理和智能檢索等方面。博士後研究期間積累了豐富的理論和實踐經驗。曾在多個國際項目中擔任研發實施負責人，為項目的理論研究與應用實現做出了重大貢獻。多次率隊參加國際學術和測評會議，取得了優異成績，積累了豐富的比賽經驗和自然語言處理相關任務的實戰經驗。目前主要致力於人工智能領域的科研和教學工作，擔任碩士生導師，講授本科生和研究生課程，包括“自然語言處理”和“數據科學與工程”等。

目錄

 

 

基礎篇

第1章從ChatGPT談起(5min)3

1.1ChatGPT概述3

1.1.1認識ChatGPT3

1.1.2ChatGPT的主要功能6

1.1.3其他大語言模型6

1.2ChatGPT和自然語言處理9

1.2.1ChatGPT用到的自然語言處理技術9

1.2.2預訓練模型10

1.2.3ChatGPT技術架構淺談13

1.2.4ChatGPT在自然語言處理中的優勢和創新之處14

1.2.5ChatGPT與其他自然語言處理技術的結合與拓展15

1.3ChatGPT的應用領域15

1.4ChatGPT的重要意義16

1.5ChatGPT發展展望17

1.6ChatGPT的倫理問題19

1.7本章小結20

第2章自然語言處理基礎(22min)21

2.1自然語言概述21

2.2自然語言處理的發展歷程23

2.3自然語言處理與人工智能25

2.4自然語言處理相關研究內容28

2.4.1詞法分析28

2.4.2句法分析28

2.4.3語義分析29

2.4.4信息抽取30

2.5自然語言處理相關應用33

2.5.1文本檢索33

2.5.2問答系統34

2.5.3機器翻譯35

2.5.4推薦系統37

2.5.5其他應用39

2.6本章小結39

第3章Python編程語言基礎(27min)40

3.1Python集成開發環境40

3.1.1Anaconda的下載與安裝40

3.1.2Spyder的使用45

3.1.3Jupyter Notebook的使用48

3.2Python程序設計52

3.2.1變量與數據類型52

3.2.2運算和函數65

3.3本章小結72

第4章自然語言處理相關工具庫(27min)73

4.1Scikitlearn73

4.2NumPy75

4.3Pandas80

4.4NLTK85

4.5Matplotlib88

4.5.1Matplotlib的主要對象89

4.5.2圖形繪制流程90

4.6TensorFlow92

4.7PyTorch94

4.8飛槳95

4.9本章小結99

第5章深度學習基礎(32min)100

5.1感知機100

5.2簡單神經網絡101

5.2.1簡單神經網絡框架101

5.2.2激活函數102

5.2.3損失函數104

5.2.4梯度法106

5.2.5神經網絡構建線性回歸模型110

5.2.6神經網絡構建邏輯回歸模型110

5.3三層神經網絡111

5.4深度學習與自然語言處理112

5.5本章小結115

第6章捲積神經網絡(21min)117

6.1捲積神經網絡概念117

6.2捲積神經網絡模型結構117

6.3捲積層118

6.4池化層120

6.5代表性捲積神經網絡121

6.5.1LeNet121

6.5.2AlexNet122

6.5.3VGGNet124

6.5.4GoogLeNet126

6.5.5ResNet130

6.6本章小結135

應用篇

第7章文本的局部式表示(30min)139

7.1向量空間模型139

7.2OneHot Encoding140

7.2.1OneHot Encoding簡介140

7.2.2OneHot Encoding示例140

7.2.3OneHot Encoding的Python實現141

7.2.4OneHot Encoding的特點143

7.3BoW模型144

7.3.1BoW模型簡介144

7.3.2基本BoW模型144

7.3.3基本BoW模型的Python實現145

7.3.4基本BoW模型的特點146

7.4TFIDF模型147

7.4.1TFIDF模型簡介147

7.4.2TFIDF的計算147

7.4.3TFIDF模型的Python實現150

7.4.4TFIDF模型的特點153

7.4.5TFIDF模型的應用154

7.5NGram模型154

7.5.1NGram模型簡介154

7.5.2NGram模型的Python實現155

7.5.3NGram模型的應用158

7.5.4NGram模型的特點159

7.6本章小結160

第8章深度學習和詞嵌入模型(35min)161

8.1靜態詞嵌入模型162

8.1.1Word2Vec模型162

8.1.2GloVe模型167

8.1.3FastText模型168

8.2動態詞嵌入模型169

8.2.1ELMO模型169

8.2.2OpenAIGPT模型169

8.2.3BERT模型170

8.3深度學習中的詞嵌入171

8.3.1RNN與詞嵌入171

8.3.2CNN與詞嵌入172

8.3.3Transformer與詞嵌入173

8.3.4預訓練大模型的詞嵌入177

8.4詞嵌入的評估181

8.4.1外在評估181

8.4.2內在評估181

8.5詞嵌入的應用184

8.6未來發展和趨勢184

8.7本章小結185

第9章基於深度學習的文本語義計算(39min)186

9.1相似度任務場景187

9.2文本蘊含188

9.3文本重復190

9.4文本沖突191

9.5文本矛盾193

9.6距離函數194

9.6.1歐氏距離194

9.6.2餘弦距離195

9.6.3馬氏距離196

9.6.4曼哈頓距離197

9.6.5切比雪夫距離198

9.7基於深度學習的相似度模型199

9.7.1Siamese Networks199

9.7.2Triplet Networks201

9.7.3文本嵌入202

9.8相似度問題實例204

9.8.1文本相似度204

9.8.2圖像相似度205

9.8.3音頻相似度206

9.9本章小結207

第10章基於深度學習的文本分類(12min)209

10.1文本分類概述209

10.1.1文本分類任務背景209

10.1.2文本分類理論思想210

10.1.3文本數據預處理210

10.1.4文本特徵處理211

10.1.5文本分類的形式化定義212

10.1.6文本分類的評測與評價214

10.2神經網絡模型的文本分類215

10.2.1CNN的文本分類215

10.2.2RNN的文本分類216

10.2.3LSTM的文本分類218

10.3Transformer的文本分類220

10.3.1人類的視覺註意力220

10.3.2Attention的本質思想220

10.3.3Attention的工作原理和應用222

10.3.4Transformer的文本分類223

10.4預訓練模型的文本分類224

10.4.1GPT模型225

10.4.2BERT模型226

10.5本章小結228

第11章基於深度學習的文本檢索(28min)229

11.1文本檢索相關概念229

11.2文本檢索模型233

11.2.1經典檢索模型233

11.2.2文本的排序234

11.3文本檢索的評估236

11.3.1精確度236

11.3.2召回率237

11.3.3平均準確率237

11.3.4平均倒數排名238

11.3.5歸一化折損累計增益239

11.4查詢擴展技術243

11.5排序學習246

11.5.1排序學習技術概述246

11.5.2排序學習模型248

11.6基於深度學習的文本檢索253

11.6.1神經檢索模型的分類254

11.6.2其他分類方式256

11.7ChatGPT引領的下一代文本檢索展望258

11.8本章小結260

附錄A中英文對照表261

參考文獻265