PyTorch深度學習與大模型部署及微調

"胡書敏，大連理工大學計算機碩士，有8年Python開發經驗，資深Python架構師，目前在知名外企從事Python和AI的開發，有平安、花旗和IBM等大廠的工作經驗，同時有約8年的Java技術面試官的經驗。出版過《Python爬蟲、數據分析與可視化：工具詳解與案例實戰》、《基於股票大數據分析的Python入門實戰》等圖書，有大模型搭建、訓練和部署的落地經驗。金華，上海浦東軟件園股份有限公司培訓中心主任，兼任上海張江信息技術專修學院院長，上海市浦東軟件園職業技能培訓中心主任，上海市人力資源和社會保障局職業技能鑒定中心專家組組長，上海市教育委員會職業教育教學工作診斷與改進專家。長期從事軟件和信息技術專業職業標準、培訓課程、鑒定方案等研發工作。主審中國勞動社會保障出版社《計算機程序設計員（Java）高級》教材，主編上海市經濟和信息化委員會工程師繼續教育《大數據與數據挖掘》、《移動互聯網》與《大數據可視化技術與應用》等教材。曹宇，上海城建職業學院機電工程與信息學院，副教授、工程師、二級技師（計算機程序設計員）。歷任高級程序員、項目經理、信息技術總監、專業教師、專業負責人等職務。主導與開發染整生產管理信息系統、EPC企業專利信息協同平臺、上海城市管理職業技術學院教務系統管理平臺、大宗商品信息管理系統等項目。參與的《上海市信息港建設政策報告》、《上海信息港集約化信息管線發展研究》分獲上海市決策咨詢類二等獎和三等獎。　指導學生多項獲獎，其中2019上海市星光計劃-網站設計項目獲得一等獎且排名第一。"

目錄

 

 

 

第1章　神經網絡、深度學習和大模型

1.1?神經網絡和深度學習

1.1.1?神經元和神經網絡

1.1.2?深度神經網絡與深度學習

1.1.3　深度學習的應用場景

1.2　深度學習和大模型

1.3　實現深度學習的Pytorch框架

1.3.1　Pytorch簡介

1.3.2　Pytorch的常用模塊

1.3.3　搭建Python開發環境

1.3.4　簡單安裝Pytorch框架

1.4　搭建支持GPU的Pytorch環境

1.4.1　GPU和CUDA

1.4.2　安裝基於GPU的Pytorch

1.5　小結和預告

第2章　學習張量，搭建神經網絡

2.1　張量的概念和基本操作

2.1.1　標量、向量、矩陣和張量

2.1.2　張量和深度學習的關系

2.1.3　創建張量

2.1.4　張量的常見方法

2.1.5　張量與Numpy數據的相互轉換

2.2　張量的常見運算

2.2.1　張量的索引操作

2.2.2　張量的切片操作

2.2.3　轉換張量的維度

2.2.4　過濾與條件操作

2.3　搭建第一個神經網絡

2.3.1　訓練集、驗證集和測試集

2.3.2　過擬合與欠擬合

2.3.3　損失函數

2.3.4　神經網絡的超參數

2.3.5　搭建神經網絡的定式

2.4　小結和預告

第3章　實戰神經網絡（多層感知機）

3.1　Pytorch自帶的數據集

3.1.1　數據集介紹

3.1.2　下載MNIST數據集

3.1.3　可視化MNIST數據集

3.2　激活函數

3.2.1　引入非線性因素的激活函數

3.2.2　sigmoid激活函數

3.2.3　tanh激活函數

3.2.4　ReLU激活函數

3.3　神經網絡與損失函數

3.3.1　用MNIST訓練，觀察損失值 

3.3.2　交叉熵損失函數

3.4　優化器與前後向傳播

3.4.1　SGD優化器與梯度下降

3.4.2　前向傳播與後向傳播

3.4.3　SGD引入Momentum參數

3.4.4　Adagrad、RMSprop和Adam優化器

3.5　用神經網絡作預測

3.6　小結和預告

第4章　用卷積神經網絡識別圖片

4.1　下載並使用CIFAR-10數據集

4.1.1　獲取CIFAR-10數據集

4.1.2　觀察CIFAR-10數據集

4.2　卷積神經網絡概述

4.2.1　二維卷積的計算範例

4.2.2　填充和移動步長

4.2.3　卷積通道數值說明

4.2.4　二維卷積方法及其參數

4.2.5　池化層及池化策略

4.2.6　整體結構及工作流程

4.3　用MNIST訓練卷積神經網絡

4.3.1　搭建模型，觀察訓練結果

4.3.2　觀察模型的結構

4.3.3　用卷積神經網絡預測結果

4.4　用CIFAR-10訓練卷積神經網絡

4.4.1　卷積及池化後的尺寸計算方式

4.4.2　搭建及訓練模型

4.4.3　用模型預測圖片分類

4.5　小結和預告

第5章　實戰殘差神經網絡

5.1　梯度爆炸和梯度消失

5.1.1　可視化觀察梯度下降

5.1.2　後向傳播、梯度消失和梯度爆炸

5.1.3　梯度消失和梯度爆炸的解決方法

5.2　搭建殘差神經網絡

5.2.1　殘差模塊的結構

5.2.2　搭建殘差神經網絡的方法

5.3　殘差神經網絡與圖片分類

5.3.1　識別MNIST手寫數字體

5.3.2　分類CIFAR-10圖片

5.4　小結和預告

第6章　對模型的實用性操作

6.1　可視化模型

6.1.1　用PyTorchViz可視化模型

6.1.2　用TensorboardX可視化模型

6.1.3　用TensorboardX觀察訓練過程

6.2　保存和加載模型

6.2.1　保存模型

6.2.2　加載模型

6.3　數據預處理和數據增強

6.3.1　歸一化處理

6.3.2　圖片的隨機裁剪

6.3.3　圖片的中心裁剪

6.3.4　圖片縮放

6.3.5　水平、垂直與隨機角度翻轉圖片

6.3.6　隨機灰度化

6.3.7　亮度、對比度、飽和度和色度變換

6.4　小結和預告

第7章　基於深度學習的回歸分析和聚類分析

7.1　回歸分析

7.1.1　獲取California房價數據集

7.1.2　用神經網絡分析預測房價

7.1.3　獲取股票數據集

7.1.4　用神經網絡分析股價

7.2　聚類分析

7.2.1　分類葡萄酒數據

7.2.2　分類鳶尾花數據

7.2.3　用神經網絡預測股票漲跌

7.3　小結和預告

第8章　遷移學習實戰

8.1　遷移學習的概念和常用方法

8.1.1　遷移學習的兩大實現方法

8.1.2　可供使用的預訓練模型

8.2　基於微調參數的遷移學習

8.2.1　ResNet18和ResNet34

8.2.2　用數據集訓練微調參數

8.3　基於特征提取器的遷移學習

8.3.1　獲取螞蟻和蜜蜂數據集

8.3.2　對特征提取器的說明

8.3.3　基於特征提取器的遷移學習

8.4　小結和預告

第9章　基於詞向量和模型的文本分析

9.1　文本分析的基礎：向量化

9.1.1　文本向量化概述

9.1.2　詞頻-逆頻率

9.1.3　基於詞頻-逆頻率的向量化示例

9.2　分詞、向量化和詞嵌入

9.2.1　基於分詞的向量化

9.2.2　基於向量化的相似度分析

9.2.3　深入了解詞嵌入和詞向量

9.2.4　基於FastText模型的詞嵌入

9.2.5　基於詞嵌入的相似度分析

9.3　基於卷積模型的情感分析

9.3.1　Imdb數據集介紹

9.3.2　用GloVe庫實現向量化

9.3.3　nn.Embedding與卷積模型

9.3.4　訓練模型，預測新文本的情感

9.4　基於循環神經網絡的情感分析

9.4.1　單向神經網絡

9.4.2　雙向神經網絡

9.4.3　基於雙向神經網絡的情感分析

9.5　小結和預告

第10章　基於生成對抗網絡的圖片識別實戰

10.1　生成對抗網絡概述

10.1.1　用兩個模型來對抗

10.1.2　生成器和判別器損失值的計算方式

10.1.3　生成對抗網絡的訓練過程

10.2　基於MNIST數據集的實戰

10.2.1　訓練過程和損失值

10.2.2　訓練與預測的代碼分析

10.3　生成對抗卷積網絡實戰

10.3.1　STL-10數據集分析

10.3.2　基於卷積的生成對抗網絡

10.3.3　訓練並擬合STL圖片

10.4　小結和預告

第11章　人臉檢測和人臉識別技術實戰

11.1　人臉檢測和人臉識別技術概述

11.1.1　人臉檢測相關算法介紹

11.1.2　人臉識別技術介紹

11.1.3　支持人臉檢測和識別的類庫

11.1.4　獲取LFW人臉數據集

11.1.5　安裝OpenCV庫

11.2　基於Dlib的人臉檢測

11.2.1　繪制人臉範圍

11.2.2　獲取人臉特征點

11.3　用對抗網絡擬合人臉

11.3.1　數據集介紹

11.3.2　用基於卷積的生成對抗網絡擬合人臉

11.4　實戰人臉識別技術

11.4.1　基於Face_recognition的人臉識別技術

11.4.2　基於MTCNN的人臉識別技術

11.5　小結和預告

第12章　音頻處理技術實戰

12.1　必要的準備工作

12.1.1　安裝torchaudio庫

12.1.2　下載音頻數據集

12.2　音頻知識點概述

12.2.1　時域圖和頻域圖

12.2.2　聲譜圖

12.2.3　梅爾頻譜

12.3　用卷積模型分類音頻

12.3.1　加載數據集的特征值和目標值

12.3.2　用交叉驗證擴充數據集

12.3.3　搭建卷積神經網絡模型

12.3.4　訓練、驗證及預測

12.4　小結和預告

第13章　目標檢測技術實戰

13.1　目標檢測技術概述

13.1.1　傳統目標檢測的流程及缺陷

13.1.2　基於深度學習的目標檢測技術

13.1.3　目標檢測的相關概念

13.2　通過數據集初識目標標記

13.2.1　介紹VOC 2007數據集

13.2.2　展示目標標記效果

13.3　用模型標記目標

13.3.1　Faster R-CNN模型

13.3.2　用Faster R-CNN模型標記目標

13.3.3　用SSD模型標記目標

13.3.4　用Yolo模型標記目標

13.4　小結和預告

第14章　強化學習實戰

14.1　強化學習概述

14.1.1　強化學習的概念和流程

14.1.2　強化學習的算法框架

14.1.3　PPO算法概述

14.1.4　基於PPO算法的模型概述

14.1.5　安裝強化學習的環境類庫

14.2　基於倒立擺環境的PPO強化學習

14.2.1　倒立擺問題概述

14.2.2　搭建PPO網絡模型

14.2.3　引用PPO模型，實現強化學習

14.3　基於著陸艙環境的PPO強化學習

14.3.1　著陸艙降落問題概述

14.3.2　搭建 PPO網絡模型

14.3.3　實現強化學習的案例分析

14.4　小結和預告

第15章　基於Transformer模型的自然語言翻譯

15.1　Transformer模型概述

15.1.1　Transformer模型的架構和構成

15.1.2　註意力機制和計算規則

15.1.3　自註意力和多頭註意力機制

15.2　基於Transformer模型的自然語言翻譯流程

15.2.1　翻譯的主要流程

15.2.2　下載訓練數據集和分詞模型

15.2.3　搭建文本翻譯的Transformer模型

15.2.4　訓練Transformer模型 

15.2.5　嘗試翻譯，觀察訓練成果

15.3　小結和預告

第16章　ViT模型實戰

16.1　ViT的概念和架構

16.1.1　ViT的組成架構

16.1.2　ViT分類圖片的大致流程

16.2　簡要版ViT分類圖片實戰

16.2.1　數據集分析

16.2.2　搭建簡要版的ViT模型

16.2.3　訓練模型，觀察分類結果

16.3　完整版ViT分類圖片實戰

16.3.1　實現註意力機制的類

16.3.2　實現MLP層

16.3.3　實現Transformer編碼器層

16.3.4　搭建完整版的ViT模型

16.3.5　訓練模型，觀察分類結果

16.4　小結和預告

第17章　DeepSeek本地化部署和微調實戰

17.1　DeepSeek模型概述

17.1.1　大語言模型概述

17.1.2　DeepSeek大語言模型簡介

17.2　DeepSeek本地化部署

17.2.1　下載DeepSeek

17.2.2　觀察本地化部署效果

17.3　微調DeepSeek

17.3.1　獲取EmoLLM數據集 

17.3.2　基於LoRA的微調方法

17.3.3　微調DeepSeek大模型

17.4　小結和預告