ChatGPT漫談

本書深度探討了構建和訓練ChatGPT模型涉及的核心技術，以及ChatGPT在各種實際 應用中的作用。全書精心劃分為三部分，其中第1章為第1部分，第2章為第2部分，第3 章和第4章為第3部分。首先，詳細闡述了機器學習的歷史演變與各種學習範式，同時也 揭示了在人工智能生成內容（AIGC）領域下，圖像處理和自然語言處理技術的歷史發 展趨勢；接下來，對ChatGPT的運行機制和關鍵算法進行深度解析，包括大規模模型結 構、上下文學習、強化學習、涌現機制等，引導讀者深刻理解ChatGPT的本質和相應算 法原理；最後，從應用角度出發，展示了ChatGPT在推動生產力變革方面的潛力，全面 解析了ChatGPT在科研、教育、出版、醫療等行業的影響和未來前景。閱讀本書後，讀 者可以獲得對AIGC和ChatGPT的全面而深入的理解。 本書旨在服務不同層次的讀者。對於初學者，它可作為一部理解深度學習技術的入 門教材；對於從事自然語言處理研究、應用實踐的科研人員和工程技術人員，它提供了 深度的理論洞見和實踐參考；對於那些在文本工作領域從業的人士，本書同樣有著重要 的參考價值。

目錄

第1章人工智能生成內容簡史 001

1.1 人工智能技術歷史 002

1.2 深度學習技術 004

 1.2.1 監督學習 005

 1.2.2 無監督學習 012

 1.2.3 強化學習 017

1.3 電腦視覺 026

 1.3.1 圖像分類 026

 1.3.2 目標檢測 036

 1.3.3 圖像生成 042

1.4 人工智能與自然語言處理 049

 1.4.1 文本分類 050

 1.4.2 機器翻譯 058

 1.4.3 對話聊天和文本生成 063

 本章小結 068

第2章

ChatGPT 069

2.1 ChatGPT發展歷程 070

2.2 大規模語言模型 073

 2.2.1 概述 073

 2.2.2 Transformer的網絡架構 076

 2.2.3 從概率模型到上下文學習 081

01

02

2.2.4 BERT模型 089

 2.2.5 GPT模型 097

2.3 以Prompt為基礎的指令微調 106

 2.3.1 完形填空 107

 2.3.2 前綴 111

 2.3.3 自動 119

2.4 人在環路的強化學習訓練 123

 2.4.1 概述 124

 2.4.2 人在環路強化學習 126

2.5 大語言模型的涌現機制 132

 本章小結 136

第3章

ChatGPT應用與探索 137

3.1 ChatGPT帶來的技術浪潮 138

3.2 ChatGPT使用技巧 142

 3.2.1 Prompt魔法 143

 3.2.2 插件和應用 158

3.3 ChatGPT決定行業競爭力 169

 3.3.1 IT行業 170

 3.3.2 金融行業 181

 3.3.3 法律行業 188

 3.3.4 教育行業 198

 3.3.5 傳媒行業 204

03

3.3.6 醫療保健行業 216

 3.3.7 其他案例 221

3.4 ChatGPT的局限 227

 3.4.1 ChatGPT能否取代搜索引擎 227

 3.4.2 ChatGPT生成能力的局限 229

 本章小結 239

第4章

從人工智能到通用人工智能 240

4.1 近在咫尺的輔助式人工智能 241

 4.1.1 當下的“通用”人工智能 241

 4.1.2 人工智能面臨的挑戰 244

 4.1.3 通用人工智能的曙光 247

4.2 籠罩在ChatGPT上的陰雲 249

 4.2.1 ChatGPT的內容屬於誰？ 249

 4.2.2 ChatGPT有創造性思維嗎？ 252

 本章小結 254