圖解人工智能——AI基礎與通往AI之路
AI工程師研究會 著；李紅梅，宋波 譯
相關主題
商品描述
IT工程師的職業種類多種多樣，其作用和技能被多樣化和細分。其中，AI工程師隨著AI領域的發展，企業的人才需求也越來越高。但是，AI工程師需要豐富的專業知識，是門檻較高的職業。本書對AI工程師的行業知識、業務內容、勞動環境、必要知識、思想準備、職業路徑等進行簡單易懂的解說，從實際角度闡述“AI工程師到底是什麼職業”，並通過豐富的圖解和細致的說明幫助讀者理解行業必備知識。 本書不僅適合想成為AI工程師的人士閱讀，還適合想了解AI工程師的培養要點，以及計劃從事AI系統開發的非工程師人士閱讀。
作者簡介
宋波，教授，沈陽師範大學軟件學院，教師。1999年3月畢業於日本國立福岡教育大學研究生院教育技術專業，研究方向：軟件工程、Java技術、人工智能、教育信息智能化，碩士生導師。主要教材著作如下：
目錄大綱
目 錄
第1 章 AI 的業界現狀和基礎知識 ……………………… 001
1.1 應用廣泛的AI …………………………………………… 002
1.1.1 什麼是AI ………………………………………… 002
1.1.2 AI 處理的步驟 …………………………………… 003
1.1.3 AI 的優勢 ………………………………………… 004
1.1.4 AI 的應用領域 …………………………………… 005
1.1.5 AI 對人類的支持 ………………………………… 007
1.2 AI 在企業中的應用趨勢 ………………………………… 008
1.2.1 AI 和物聯網技術的使用現狀 …………………… 008
1.2.2 IT 企業中基於AI 服務的開展 ………………… 009
1.3 AI 人才的需求 …………………………………………… 010
1.3.1 AI 人才的類型 …………………………………… 010
1.3.2 AI 服務的成功離不開人才的保障 ……………… 012
第2 章 AI 工程師的工作及結構 ………………………… 015
2.1 AI 工程師概述 …………………………………………… 016
2.1.1 通往AI 工程師之路是多樣的 ………………… 016
2.1.2 AI 工程師的兩種類型 …………………………… 017
2.1.3 數據科學家與AI 工程師 ……………………… 018
2.1.4 創建AI 模型之後 ……………………………… 019
2.2 與AI 工程師相關的人員 ……………………………… 020
2.3 AI 系統開發的整體情況 ………………………………… 024
2.4 PM 的工作與作用 ……………………………………… 026
2.4.1 PM 負責整個項目的總體規劃和管理 ………… 026
2.4.2 項目團隊管理 …………………………………… 026
2.4.3 客戶溝通 ………………………………………… 027
2.5 自主開發與委托開發 …………………………………… 028
2.5.1 自主開發與委托開發的概念 …………………… 028
2.5.2 自主開發與委托開發的區別 …………………… 029
2.6 AI 系統的大腦 …………………………………………… 030
2.6.1 AI 系統的大腦是AI 模型 ……………………… 030
2.6.2 AI 模型的制作工程 ……………………………… 030
2.6.3 AI 模型的創建工程 ……………………………… 031
2.6.4 優秀的AI 模型需要從正確的數據中獲取 …… 031
2.6.5 如何收集需要的數據 …………………………… 032
2.6.6 將創建的AI 模型集成到系統中 ……………… 033
2.7 AI 模型的創建與編程 …………………………………… 034
2.7.1 AI 模型的算法 …………………………………… 034
2.7.2 使用現有的AI 模型 …………………………… 036
2.7.3 使用預訓練的AI 服務 ………………………… 037
2.8 AI 系統的使用案例 ……………………………………… 040
2.8.1 在現有服務中使用AI 系統 …………………… 040
2.8.2 利用AI 系統創造新附加值 …………………… 041
第3 章 AI 工程師的招聘情況和工作方式 ……………… 045
3.1 AI 工程師的轉行情況 …………………………………… 046
3.1.1 IT 企業AI 人才的獲取方式 …………………… 046
3.1.2 從IT 工程師的整體角度觀察AI 工程師的招聘 … 047
3.1.3 所需的AI 工程師 ……………………………… 048
3.1.4 招聘企業的員工規模 …………………………… 048
3.2 AI 工程師的工作條件 …………………………………… 050
3.2.1 AI 工程師的薪資水平更高 ……………………… 050
3.2.2 上班制度 ………………………………………… 051
3.3 AI 工程師的學歷和年齡段 ……………………………… 052
3.3.1 AI 工程師中本科以及碩士研究生比例較高 …… 052
3.3.2 AI 工程師的年齡以30 多歲為主 ……………… 053
3.4 AI 工程師的一天——情形1 …………………………… 054
3.4.1 主要從事委托開發工作的PM ………………… 054
3.4.2 簡歷 ……………………………………………… 054
3.4.3 業務範圍 ………………………………………… 055
3.4.4 一天的工作內容 ………………………………… 055
3.5 AI 工程師的一天——情形2 …………………………… 058
3.5.1 負責開發AI 系統的數據科學家 ……………… 058
3.5.2 簡歷 ……………………………………………… 058
3.5.3 工作內容 ………………………………………… 058
3.5.4 一天的工作內容 ………………………………… 059
3.6 AI 工程師的一天——情形3 …………………………… 061
3.6.1 開發及使用AI 和IoT 店鋪解析服務的工程師 … 061
3.6.2 履歷 ……………………………………………… 061
3.6.3 工作內容 ………………………………………… 062
3.6.4 一天的工作內容 ………………………………… 062
3.7 AI 工程師的工作到底做什麼 …………………………… 064
3.7.1 除了開發工作之外 ……………………………… 064
3.7.2 目標是利用AI 來解決社會問題 ……………… 065
3.7.3 不斷進行嘗試和解決錯誤，以推進項目進行 … 065
第4 章 成為AI 工程師的條件 …………………………… 067
4.1 AI 工程師的必要技能 …………………………………… 068
4.1.1 AI 技能和應用開發技能 ………………………… 068
4.1.2 學習AI 技能 …………………………………… 069
4.2 AI 技能所需的基礎知識 ………………………………… 070
4.2.1 概率和統計 ……………………………………… 070
4.2.2 數據的整理、可視化、評估知識 ……………… 071
4.2.3 Python 基礎知識 ………………………………… 071
4.3 AI 編程的入門方法 ……………………………………… 072
4.3.1 學習的第一步 …………………………………… 072
4.3.2 AI 編程中使用的庫 ……………………………… 073
4.3.3 使用雲服務 ……………………………………… 073
4.3.4 GUI 編程也在實際場景中得到了應用 ………… 075
4.4 應用開發技能 …………………………………………… 076
4.4.1 為什麼應用開發技能是必要的 ………………… 076
4.4.2 IoT 應用技能 …………………………………… 077
4.5 如何成為一名AI 工程師——學生篇 ………………… 078
4.5.1 從學生到AI 工程師 …………………………… 078
4.5.2 容易成為AI 工程師的專業 …………………… 079
4.5.3 資格獲取與實習方面的挑戰 …………………… 079
4.6 如何成為一名AI 工程師——IT 工程師篇 …………… 080
4.6.1 從IT 工程師到AI 工程師 ……………………… 080
4.6.2 參與公司內部的AI 項目 ……………………… 080
4.6.3 提出引入AI 系統的建議 ……………………… 081
4.6.4 轉行到開發AI 系統的公司 …………………… 081
4.7 如何成為一名AI 工程師——非IT 工程師篇 ………… 082
4.7.1 從零到AI 工程師 ……………………………… 082
4.7.2 轉行到提供充實培訓的公司 …………………… 082
4.7.3 活用領域知識 …………………………………… 083
4.7.4 報班學習後再轉行 ……………………………… 083
第5 章 AI 系統概要 ……………………………………… 085
5.1 AI 系統 …………………………………………………… 086
5.1.1 從輸入數據中產生結果 ………………………… 086
5.1.2 什麼是AI 模型 ………………………………… 087
5.1.3 AI 模型通過學習來改善自身的性能 …………… 088
5.2 AI 系統開發流程 ………………………………………… 090
5.2.1 制作AI 系統的流程 …………………………… 090
5.2.2 制作AI 模型還是使用AI 模型 ………………… 092
5.3 決定讓AI 系統做什麼 ………………………………… 094
5.3.1 想要AI 系統做什麼 …………………………… 094
5.3.2 輸入什麼樣的數據，就會輸出什麼樣的結果 … 095
5.3.3 輸入數據 ………………………………………… 095
5.3.4 輸出結果數據 …………………………………… 096
5.3.5 以數字表示事件的特征 ………………………… 098
5.4 AI 模型的學習 …………………………………………… 100
5.4.1 AI 模型的學習 …………………………………… 100
5.4.2 監督學習的機制 ………………………………… 100
5.4.3 4 維以上的數據不可見 ………………………… 101
5.4.4 無監督學習的機制 ……………………………… 103
5.5 模型的驗證與評估 ……………………………………… 104
5.5.1 使用部分數據進行驗證和測試 ………………… 104
5.5.2 AI 模型性能評估的標準 ………………………… 105
5.5.3 利用超參數改進AI 模型 ……………………… 105
5.6 數據處理方式 …………………………………………… 107
5.6.1 使用什麼樣的數據 ……………………………… 107
5.6.2 收集用來學習的數據 …………………………… 108
5.6.3 數據的標註 ……………………………………… 109
5.6.4 確保準確的數據輸入 …………………………… 110
5.6.5 制作不受人或環境影響的數據 ………………… 110
5.7 考慮系統規模 …………………………………………… 112
5.7.1 學習所需的計算能力 …………………………… 112
5.7.2 處理的數據量 …………………………………… 114
5.7.3 抗故障性 ………………………………………… 116
5.8 AI 系統所需的機制 ……………………………………… 117
5.8.1 AI 系統的數據輸入/ 輸出 ……………………… 117
5.8.2 數據輸入前的處理 ……………………………… 118
5.8.3 輸出數據的加工、顯示、分析 ………………… 118
5.8.4 Web 系統或與智能手機的協作功能 …………… 119
第6 章 AI 模型的構建與概念驗證 ……………………… 121
6.1 PoC 的重要性 …………………………………………… 122
6.1.1 驗證可行性 ……………………………………… 122
6.1.2 產品化的利益和風險的實證 …………………… 123
6.1.3 技術上是否可行的重復性嘗試 ………………… 123
6.2 AI 模型的試制中要分析的“是什麼” ………………… 124
6.2.1 分解達成目標的方式 …………………………… 124
6.2.2 利用和毀滅AI 模型的“特征量” ……………… 126
6.3 數據收集的註意事項 …………………………………… 128
6.3.1 確認數據的正確性 ……………………………… 128
6.3.2 數據清洗 ………………………………………… 129
6.4 在AI 模型中使用的算法——監督學習 ……………… 132
6.4.1 生成預期值作為結果的方程式 ………………… 132
6.4.2 代表性的“監督模型” …………………………… 133
6.4.3 組合多個判斷的決策樹 ………………………… 135
6.4.4 即時導向學習的k-近鄰法 ……………………… 136
6.5 在AI 模型中使用的算法——無監督學習 …………… 138
6.5.1 無監督學習 ……………………………………… 138
6.5.2 沒有監督也可以學習 …………………………… 139
6.5.3 無監督學習的代表示例 ………………………… 139
6.5.4 強化學習 ………………………………………… 140
6.6 在AI 模型中使用的算法——集成學習 ……………… 142
6.6.1 集成學習是什麼 ………………………………… 142
6.6.2 提升 ……………………………………………… 144
6.6.3 “自助法”與“隨機森林” ……………………… 144
6.6.4 堆疊 ……………………………………………… 145
6.7 在AI 模型中使用的算法——深度學習 ……………… 147
6.7.1 擅長處理圖像和語言等任務的深度學習 ……… 147
6.7.2 深度學習的代表性方法 ………………………… 148
6.8 驗證AI 模型的性能 …………………………………… 151
6.8.1 參數調整的驗證 ………………………………… 151
6.8.2 通用能力 ………………………………………… 152
6.8.3 註意數據泄露 …………………………………… 152
6.8.4 超參數調整 ……………………………………… 152
6.8.5 留出法 …………………………………………… 153
6.8.6 交叉驗證 ………………………………………… 154
6.9 評估AI 模型的性能 …………………………………… 156
6.9.1 求得評估指標的分類結果 ……………………… 156
6.9.2 評估AI 模型性能的評估指標 ………………… 156
6.9.3 ROC 曲線 ………………………………………… 158
6.10 高準確度可能是過度學習的跡象 …………………… 159
6.10.1 通用性差的過度學習 ………………………… 159
6.10.2 通過增加訓練數據來避免過擬合 …………… 159
6.11 數據較少的情況 ………………………………………… 161
6.11.1 收集到的數據變少的原因 …………………… 161
6.11.2 使用公開的訓練數據 ………………………… 162
6.11.3 數據不足時的處理方法 ……………………… 163
6.11.4 少量數據可用於遷移學習 …………………… 163
第7 章 制作AI 系統 ……………………………………… 165
7.1 PoC 完成後到產品化的流程 …………………………… 166
7.2 PoC 中的AI 模型優化用於生產環境 ………………… 169
7.2.1 PoC 和正式運營之間的區別 …………………… 169
7.2.2 AI 模型的改進 …………………………………… 170
7.3 AI 系統構建 ……………………………………………… 173
7.3.1 AI 系統的整體結構 ……………………………… 173
7.3.2 將AI 系統部署到雲端 ………………………… 174
7.4 AI 系統測試 ……………………………………………… 177
7.4.1 AI 系統的測試 …………………………………… 177
7.4.2 各種系統測試 …………………………………… 177
7.4.3 負載測試 ………………………………………… 179
7.5 探討AI 模型的更新方法 ……………………………… 181
7.5.1 AI 模型需要更新的原因 ………………………… 181
7.5.2 AI 模型更新的方法 ……………………………… 181
7.5.3 AI 模型的更新頻率 ……………………………… 183
第8 章 AI 系統的運營 …………………………………… 185
8.1 系統的運營 ……………………………………………… 186
8.1.1 系統運營概述 …………………………………… 186
8.1.2 AI 系統固有的運營 ……………………………… 187
8.1.3 系統的更新 ……………………………………… 188
8.1.4 開發新的AI 系統 ……………………………… 189
8.2 監視AI 系統以檢查是否存在異常 …………………… 190
8.2.1 系統異常 ………………………………………… 190
8.2.2 AI 系統特有的異常 ……………………………… 191
8.3 AI 模型更新 ……………………………………………… 193
8.3.1 AI 模型更新方法 ………………………………… 193
8.3.2 在排除趨勢期間的數據後進行重新訓練 ……… 194
8.3.3 將新知識（變量）輸入AI 模型 ……………… 195
8.4 AI 系統的不足之處在於需要人類進行跟進 …………… 196
8.4.1 以減輕人力為目的的AI ………………………… 196
8.4.2 大數據時代的人工智能 ………………………… 196
第9 章 成為AI 工程師 …………………………………… 199
9.1 積累真實的經驗 ………………………………………… 200
9.1.1 接觸更多案例 …………………………………… 200
9.1.2 技巧的選擇取決於經驗 ………………………… 201
9.1.3 推進業務過程中的挑戰 ………………………… 201
9.2 了解理想數據與現實數據 ……………………………… 202
9.2.1 現實中的數據 …………………………………… 202
9.2.2 數據本身不存在 ………………………………… 203
9.3 處理大規模數據需要具備基礎設施知識 ……………… 204
9.3.1 基礎設施知識的必要性 ………………………… 204
9.3.2 雲計算的使用 …………………………………… 205
9.4 調整客戶的期望值 ……………………………………… 208
9.4.1 能做的和不能做的事情的說明 ………………… 208
9.4.2 與客戶一起考慮如何達成目標 ………………… 209
9.5 學習商業技能 …………………………………………… 210
9.5.1 AI 工程師所需的三項商業技能 ………………… 210
9.5.2 人際技能 ………………………………………… 211
9.5.3 概念技能 ………………………………………… 212
9.6 需要不斷學習最先進的技術 …………………………… 213
9.6.1 新技術的再利用 ………………………………… 213
9.6.2 搜索前沿信息 …………………………………… 213
9.6.3 註意過於前沿的信息 …………………………… 214
9.6.4 參加活動 ………………………………………… 215
9.6.5 深入了解領域知識 ……………………………… 215
9.7 進一步提升 ……………………………………………… 217
9.7.1 從運營到晉升 …………………………………… 217
9.7.2 數據科學 ………………………………………… 218
9.7.3 AI 技術的支撐 …………………………………… 219
