MindSpore高階技術及應用實踐

陳雷 加拿大滑鐵盧大學計算機博士。現擔任香港科技大學(廣州)信息樞紐學院院長，數據科學與分析學域講座教授，廣州市大數據智能重點實驗室主任。研究方向包括數據驅動的人工智能、大數據分析、知識圖譜、眾包、區塊鏈、圖數據庫、概率和不確定數據庫，以及時空和時間序列數據庫。曾獲2020年度中國電子學會科學技術獎一等獎、2015年ACM SIGMOD時間檢測獎、2022 VLDB最佳研究論文獎、2014 VLDB優秀示範獎。曾擔任ICDE2023和VLDB2019 PC聯合主席、The VLDBJournal聯合主編、VLDB基金會執行委員。目前擔任IEEE TKDE主編、DASFAA國際會議指導委員會主席、長江學者講座教授，當選IEEE會士和ACM傑出科學家，獲得國家傑出青年科學基金海外青年學者合作研究項目支持。

第 1章　數據處理 001 1.1　轉換數據集為MindRecord 002 1.1.1　MindRecord原理 003 1.1.2　MindRecord使用示例 004 1.2　自動數據增強 007 1.2.1　自動數據增強原理 007 1.2.2　自動數據增強使用示例 010 1.3　輕量化數據處理模式 012 1.3.1　Eager模式原理 013 1.3.2　Eager模式使用示例 013 1.4　單節點緩存加速 016 1.4.1　單節點緩存原理 016 1.4.2　單節點緩存使用示例 017 1.4.3　緩存優化使用示例 022 1.5　數據處理性能優化 027 第 2章　網絡構建 036 2.1　基本概念與網絡模型訓練流程 037 2.1.1　張量 037 2.1.2　數據集 043 2.1.3　數據變換 048 2.1.4　神經網絡模型構建 052 2.1.5　函數式自動微分 056 2.1.6　網絡模型訓練流程 060 2.1.7　保存與加載 065 2.2　自定義算子 066 2.2.1　自定義算子概述 066 2.2.2　自定義算子開發 069 2.2.3　自定義算子註冊 078 2.2.4　aot類型自定義算子進階用法—特性 080 2.2.5　aot類型自定義算子進階用法—接口 081 2.2.6　aot類型自定義算子進階用法—用例 083 2.3　高階自動微分 088 2.3.1　微分求解方法概述 089 2.3.2　原理及實現 091 2.3.3　相關案例 094 第3章　分布式並行 099 3.1　數據並行 100 3.2　半自動並行 104 3.2.1　算子級並行 104 3.2.2　優化器並行 110 3.2.3　流水線並行 117 3.3　自動並行 121 3.3.1　切分策略傳播算法 123 3.3.2　雙遞歸策略搜索算法 129 3.4　手動並行 134 3.5　參數服務器 137 3.5.1　相關接口 137 3.5.2　相關環境變量配置 138 3.5.3　基本原理及操作實踐 138 3.6　鵬程·盤古模型網絡多維度自動混合並行案例 142 3.6.1　Embedding層 143 3.6.2　Decoder層 144 3.6.3　Residual層 149 3.6.4　Linear層 149 第4章　性能及算法優化 151 4.1　下沈模式 152 4.1.1　數據下沈 152 4.1.2　圖下沈 154 4.1.3　循環下沈 154 4.1.4　數據下沈使用方法 155 4.2　圖算融合 163 4.2.1　圖算融合使用方法 164 4.2.2　自定義組合算子 165 4.3　算子增量編譯 167 4.3.1　算子增量編譯使用方法 167 4.3.2　常見問題 168 4.4　內存復用 169 4.5　梯度累加 169 4.5.1　梯度累加原理 169 4.5.2　梯度累加實現 171 4.6　二階優化 175 4.6.1　優化器 175 4.6.2　THOR 177 4.6.3　在ResNet 50網絡上應用二階優化 180 第5章　模型部署 190 5.1　概述 191 5.2　模型轉換及優化 192 5.2.1　模型轉換 192 5.2.2　算子融合 192 5.2.3　算子替換 194 5.2.4　算子重排 195 5.3　模型壓縮 196 5.3.1　模型量化 196 5.3.2　模型稀疏 201 5.3.3　知識蒸餾 203 5.3.4　基於MindSpore的QAT 205 5.4　模型推理 206 5.4.1　前處理與後處理 206 5.4.2　並行計算 207 5.4.3　算子優化 208 5.5 分布式推理服務 212 5.5.1　數據處理流水線並行 214 5.5.2　模型版本管理 214 5.6　基於MindSpore的模型部署與壓縮 215 5.6.1　安裝MindSpore Golden Stick 216 5.6.2　MindSpore模型部署 216 5.6.3　MindSpore模型轉換 217 第6章　模型安全與隱私 222 6.1　安全可信設計 223 6.1.1　MindSpore Armour總體架構 223 6.1.2　模型魯棒性 224 6.1.3　模型資產安全 226 6.1.4　隱私保護 227 6.2　模型魯棒性 229 6.2.1　對抗攻防 229 6.2.2　AI Fuzzer 242 6.3　模型資產安全 247 6.3.1　模型加密保護 247 6.3.2　模型動態混淆 250 6.4　隱私保護 255 6.4.1　差分隱私訓練 255 6.4.2　抑制隱私訓練 265 6.4.3　隱私泄露風險評估 275 第7章　模型可靠性 282 7.1　模型魯棒性度量及提升 283 7.1.1　技術現狀 284 7.1.2　推薦方案 288 7.1.3　應用結果 290 7.1.4　技術發展 291 7.2　概念漂移檢測 296 7.2.1　概念漂移背景 297 7.2.2　業界現狀 299 7.2.3　常用檢測算法 301 7.3　基於故障註入的測試 313 7.3.1　故障模式庫 313 7.3.2　故障註入測試 320 第8章　AI求解科學計算方程 326 8.1　業界經典微分方程 327 8.1.1　背景介紹 327 8.1.2　PINN 328 8.1.3　傅裏葉神經算子 330 8.2　SIMnet 331 8.2.1　背景介紹 331 8.2.2　框架介紹 332 8.2.3　相關案例 333 8.3　SciML 337 8.3.1　框架介紹 337 8.3.2　典型案例 339 第9章　AI加速科學方法 343 9.1　海洋模式 344 9.2　基於OpenArray的ROMS 344 9.2.1　OpenArray算子庫 345 9.2.2　GOMO 346 9.3　MindSpore加速GOMO求解 348 9.3.1　算子抽象 348 9.3.2　圖算融合 349 9.3.3　halo區並行 350 參考文獻 352