走進大模型

第1章 大模型的由來 1
1.1 什麼是大模型 1
1.1.1 大模型的定義 1
1.1.2 有哪些類型的大模型 4
1.2 大模型發展的三個階段和三次飛躍 6
1.2.1 萌芽期 6
1.2.2 沈澱期 7
1.2.3 爆發期 9
1.3 大模型帶來的機會 14
1.3.1 行業應用遍地開花 14
1.3.2 商業智能落地 16
1.3.3 個性化服務提升 18
1.3.4 教育與培訓賦能 20
第2章 從深度學習到大模型 29
2.1 什麼是深度學習 29
2.1.1 深度學習的由來 29
2.1.2 深度學習的定義 33
2.1.3 深度學習的應用領域 35
2.2 大模型用了深度學習的哪些技術 37
2.2.1 深度神經網絡 37
2.2.2 激活函數 38
2.2.3 損失函數 39
2.2.4 優化算法 40
2.3 神經網絡模型向大模型的發展 40
2.3.1 CNN 40
2.3.2 RNN 41
2.3.3 Transformer 42
2.3.4 多模態模型 44
2.3.5 擴散模型 45
2.4 大模型的建模技術 47
2.4.1 大模型的預訓練 47
2.4.2 大模型的微調 50
2.4.3 大模型的推理 51
第3章 大模型的架構—Transformer 54
3.1 Transformer的提出 54
3.1.1 傳統模型的限制 54
3.1.2 Transformer模型的引入 55
3.2 Transformer的優勢 56
3.2.1 並行計算 56
3.2.2 長距離依賴建模 58
3.2.3 模塊化設計 58
3.3 Transformer的自註意力機制 58
3.3.1 自註意力機制的提出 58
3.3.2 自註意力機制的三個階段 59
3.3.3 多頭自註意力機制 60
3.4 Transformer的架構 61
3.4.1 基礎Transformer架構 61
3.4.2 基於Transformer的BERT 62
3.4.3 基於Transformer的GPT 63
3.4.4 基於Transformer的T5 65
3.5 Transformer的最新進展Titans 66
3.5.1 Titans是什麼 66
3.5.2 Titans的三種變體 67
3.5.3 Titans的意義與影響 69
3.6 Transformer的應用場景 70
3.6.1 圖像和視頻理解 70
3.6.2 文本生成 78
3.6.3 文本風格遷移 79
3.6.4 內容續寫 79
第4章 大模型的代表—GPT 80
4.1 GPT的由來 80
4.1.1 GPT的提出 80
4.1.2 GPT為何采用Transformer架構 82
4.2 GPT的發展歷程—從GPT-1到GPT-4 84
4.2.1 GPT-1—多項語言處理大模型 84
4.2.2 GPT-2—多任務學習大模型 85
4.2.3 GPT-3—復雜任務與專家知識大模型 88
4.2.4 GPT-4—多模態交互大模型 89
4.3 GPT的應用場景 90
4.4 GPT的發展 92
4.4.1 多模態能力的強大 92
4.4.2 GPT-O系列的提出 94
4.4.3 快思考到慢思考 98
第5章 國內外典型的大模型 103
5.1 OpenAI的Sora大模型 103
5.2 Google的Gemini大模型 107
5.3 Meta的LLaMA大模型 113
5.4 百度的文心大模型 114
5.5 騰訊的混元大模型 118
5.6 阿裏的通義千問大模型 122
5.7 華為的盤古大模型 124
5.8 幻方量化的DeepSeek大模型 125
5.9 國內外大模型對比 129
第6章 大模型的應用領域 141
6.1 NLP 141
6.2 對話系統與聊天機器人 146
6.3 計算機視覺 147
6.4 推薦系統 150
6.5 自動駕駛 152
6.6 醫療健康診斷 153
第7章 大模型面臨的挑戰與對策 158
7.1 算力挑戰與對策 158
7.2 模型架構局限性與對策 162
7.3 幻覺問題與對策 163
7.4 倫理與安全挑戰 165
7.5 模型可解釋性挑戰與對策 176
第8章 大模型的未來展望 184
8.1 大模型的跨模態融合 184
8.2 大模型與智能體的融合 187
8.3 大模型的具身智能 193
8.4 大模型的開源與推理能力提升 195
參考文獻 197