Transformer原理解析及中文項目實踐（微課視頻版）

沈誌龍,統計學碩士、AI算法專家，擁有數學和統計學背景，對自然語言處理、機器學習、深度學習等領域具有深厚的理論知識和實踐經驗。在數據分析和挖掘領域耕耘多年，對數據分析、機器學習、深度學習和知識圖譜等方向有深入的研究和探索。在文本分類、命名實體識別、文本生成等自然語言處理任務上具有豐富的實戰經驗，對於Transformer技術應該具備的核心專業能力有深入的理解和掌握。

 

目錄

 

 

 

 

教學課件（PPT）

 

 

 

 

本書源碼

 

 

 

第1章引言（83min）

 

1.1深度學習與序列模型的進化

 

1.1.1RNN原理

 

1.1.2RNN代碼實踐

 

1.1.3RNN的問題與挑戰

 

1.1.4LSTM原理

 

1.1.5LSTM代碼實踐

 

1.1.6LSTM的問題與挑戰

 

1.2Transformer的誕生背景

 

1.2.1Seq2Seq模型

 

1.2.2Seq2Seq代碼實踐

 

1.2.3註意力機制的崛起

 

1.2.4 註意力機制代碼解讀

 

1.2.5論文“Attention is All You Need”簡介

 

第2章Transformer架構解析（87min）

 

2.1Transformer總覽

 

2.1.1Transformer的核心思想 

 

2.1.2Transformer的總體架構 

 

2.2Transformer的實現

 

2.2.1自註意力機制的原理和實現 

 

2.2.2多頭註意力的原理和實現

 

2.2.3位置編碼的作用和實現

 

2.2.4前饋網絡層

 

2.2.5殘差連接和層歸一化

 

2.2.6解碼器的結構和功能

 

第3章訓練Transformer

 

3.1自定義Transformer代碼

 

3.1.1詞嵌入和位置編碼

 

3.1.2多頭註意力層

 

3.1.3前饋網絡層

 

3.1.4編碼器層和解碼器層

 

3.1.5構建Transformer模型

 

3.1.6訓練Transformer模型

 

3.2實踐訓練

 

3.2.1數據準備

 

3.2.2模型定義及訓練

 

3.2.3模型預測

 

第4章Transformer變體與進階（79min）

 

4.1BERT

 

4.1.1BERT架構與原理

 

4.1.2BERT訓練過程解析

 

4.2GPT系列

 

4.2.1從GPT到GPT4o

 

4.2.2GPT訓練過程解析

 

4.3其他變體

 

4.3.1ALBERT

 

4.3.2RoBERTa

 

4.3.3T5

 

4.3.4知識蒸餾原理及實踐 

 

第5章利用Hugging Face實踐Transformer

 

5.1Hugging Face簡介 

 

5.1.1社區與資源介紹

 

5.1.2Transformers庫概覽

 

5.2快速開始

 

5.2.1Transformers庫 

 

5.2.2Datasets加載數據集

 

5.2.3Tokenizer文本處理

 

5.2.4預訓練模型的加載

 

5.2.5Evaluate評估

 

5.2.6Trainer訓練

 

5.3實際應用案例

 

5.3.1文本分類  

 

5.3.2情感分類

 

5.3.3命名實體識別

 

5.3.4文本相似度

 

5.3.5機器閱讀理解

 

5.3.6文本摘要

 

5.3.7生成式對話機器人

 

5.4模型高效微調

 

5.4.1微調原理介紹

 

5.4.2Freeze微調原理及實踐

 

5.4.3PromptTuning微調原理及實踐

 

5.4.4Prefix Tuning微調原理及實踐

 

5.4.5PTuning微調原理及實踐 

 

5.4.6LoRA微調原理及實踐

 

5.4.7AdaLoRA微調原理及實踐

 

5.4.8QLoRA微調原理及實踐

 

5.5Transformer的影響

 

5.6未來展望