大模型時代的人工智能基礎與實踐 — 基於 OmniForce 的應用開發教程

薛超，京東探索研究院算法科學家，基礎大模型與系統部機構負責人，主要負責京東基礎大模型的研發工作；於 IBM 研究院任職 10 年，加入京東之前，任 IBM 神經網絡搜索全球聯合負責人、中國研究院高級研究員；主導並參與了多項雲計算平臺的大數據服務、自動化機器學習服務在國內外大型企業 的研發與落地，近年來致力於大模型的訓練和推理技術研究工作；NeurIPS、CVPR、AAAI、ACL、ECCV、TPAMI、TNNLS、
PACT 等人工智能和計算機體系結構等國際頂級會議上發表多篇文章；授權美國發明專利 40 餘項。
王超嶽，從事人工智能生成內容 (AIGC) 及其相關的機器學習領域的研究工作，取得科研成果 40 餘項；以第一作者或通訊作者在 IEEE T-PAMI 等國際頂級學術期刊和 NeurIPS、 CVPR 等國際頂級會議上發表論文 10 餘篇；受到中國環球電視網（CGTN）、《麻省理工科技評論（MIT TR）》、《環球科學》、雷峰網等多家媒體的採訪和報道；一作論文 TDGAN 斬獲 IJCAI-17 唯一傑出學生論文獎，一作論文 E-GAN 被 MITTR 評選為 ArXiV 當周最具啟發性論文；2022 年牽頭撰寫了首本中國官方《AIGC 白皮書》，定義 AIGC 技術體系和發展方向。
陶大程，悉尼大學 Peter Nicol Russel 講席教授，澳大利亞桂冠教授，ACM、AAAS、IEEE Fellow，歐洲科學院外籍院士，發展中國家科學院院士，新南威爾士皇家學院院士，澳大利亞科學院院士，曾任京東集團探索研究院首任院長、京東集團高級副總裁；2021 年榮獲 IEEE Computer Society Edward J Mc- Cluskey 技術成就獎，2018年榮獲 IEEE ICDM 研究貢獻獎， 2015 和 2020 年兩度榮獲澳大利亞尤裏卡獎，2015年和2020年分別榮獲悉尼科技大學校長獎章和悉尼大學校長傑出研究貢獻獎，2020 年被《澳大利亞人報》列入“終身成就排行榜”；自 2014年起，連續9年入選科睿唯安“全球高被引科學家”。

 

目   錄

 

第 1 章 導論  1

1.1 人工智能概述  1

1.1.1 人工智能的發展進程  1

1.1.2 人工智能的三大要素及其關系  2

1.1.3 人工智能的兩大學派  3

1.2 大模型技術的崛起與模型通用化  4

1.3 人工智能應用的泛在化  7

1.3.1 雲邊一體  8

1.3.2 虛實融合  9

1.3.3 開放環境  14

1.4 智能技術的普及化和低門檻化  14

1.5 小結  15

第 2 章 人工智能基礎  16

2.1 傳統機器學習  16

2.1.1 線性回歸  16

2.1.2 邏輯回歸  22

2.1.3 樸素貝葉斯  24

2.1.4 樹模型  27

2.1.5 類推方法  30

2.1.6 聚類  36

2.1.7 降維  39

2.1.8 關聯分析  45

2.1.9 集成學習  49

2.2 深度學習  56

2.2.1 單層感知機  57

2.2.2 多層感知機  59

2.2.3 捲積神經網絡  66

2.2.4 循環神經網絡  71

2.2.5 Transformer  74

2.3 電腦視覺  78

2.3.1 視覺紋理增強  78

2.3.2 視覺結構感知  83

2.3.3 視覺語義理解  88

2.3.4 視覺內容生成  93

2.4 自然語言處理  97

2.4.1 自然語言理解  97

2.4.2 自然語言生成  99

2.4.3 跨語種自然語言處理 102

2.5 多模態任務  104

2.5.1 多模態數據對齊  104

2.5.2 多模態信息理解  110

2.5.3 多模態內容生成  115

2.6 大模型與超級深度學習  121

2.6.1 大模型架構設計  121

2.6.2 大模型訓練  126

2.6.3 大模型工業化模式  137

2.6.4 大模型領域微調技術 140

2.6.5 LangChain  150

2.6.6 AI Agent  155

2.6.7 AgentGPT  158

2.6.8 LLMOps  159

2.7 自動化機器學習  161

2.7.1 自動化機器學習流水線  161

2.7.2 自動化機器學習算法 162

2.7.3 近似與加速方法  168

2.8 人工智能的可信賴性  170

2.8.1 可解釋性  170

2.8.2 穩定性  171

2.8.3 隱私保護能力  172

2.8.4 公平性  173

2.8.5 大語言模型的可信賴性  174

第 3 章 OmniForce 平臺介紹  180

3.1 支持全生命周期管理的自動化機器學習  180

3.2 以人為中心的自動化機器學習  182

3.3 OmniForce 的功能與流程  183

3.3.1 項目管理  183

3.3.2 項目創建  184

3.3.3 項目空間  185

3.3.4 多目標管理  188

3.3.5 數據管理  197

3.3.6 數據變換與標註  208

3.3.7 模型訓練  215

3.3.8 模型部署  230

3.3.9 模型推理  232

3.3.10 模型監控  234

3.3.11 文件管理  236

3.3.12 用戶中心  237

第 4 章 OmniForce 案例實踐  239

4.1 智能標註  239

4.1.1 項目目的  239

4.1.2 創建項目  239

4.1.3 自動駕駛 2D/3D 感知大模型預標註  242

4.1.4 案例總結  243

4.2 智能數字內容生成  244

4.2.1 項目目的  244

4.2.2 產品功能介紹  244

4.2.3 自定義模型部署  244

4.2.4 功能展示  245

4.3 智能表格處理  246

4.3.1 項目目的  246

4.3.2 創建項目  247

4.3.3 模型性能指標  249

4.4 智能時序預測  251

4.4.1 項目目的  251

4.4.2 創建項目  251

4.4.3 模型性能指標  254

4.5 大模型垂域微調  256

4.5.1 項目目的  256

4.5.2 創建項目  256

4.5.3 模型性能指標  258

第 5 章 大模型時代的展望  261

參考文獻  263