邊緣側AI小模型 訓練優化與部署

第1章AI on Edge：邊緣側人工智能的值、與落地路徑

1.1AI時代的邊緣計算

1.1.1邊緣計算的定義與核心征

1.1.2邊緣計算的發展歷程

1.1.3AI驅動下的邊緣計算

1.2邊緣側與雲端的差異及協同模式

1.2.1雲邊核心差異：資源、成本效率與隱私合規

1.2.2雲邊協同的典型模式

1.3邊緣側AI的核心

1.3.1邊緣視覺智能：從識別到理解的演進

1.3.2邊緣語音智能：離線交互的關鍵

1.3.3邊緣語言理解與決策智能

1.4典型應用場景、署路徑與技術挑戰

1.4.1典型應用場景

1.4.2典型署模式

1.4.3核心技術挑戰

第2章邊緣側高質量數據集的準備與增強

2.1邊緣側高質量數據集的核心征

2.1.1數據來源的多樣性

2.1.2領域與任務的針對性

2.2如何評估數據集的質量

2.3邊緣側數據集的格式化

2.3.1邊緣側數據來源與標準樣本結構

2.3.2圖像與音頻數據的基礎格式化

2.3.3文本與對話數據的結構化模板

2.3.4樣本邊界標記（EOS）的設置方法

2.3.5偏好數據集的字段結構與標註規範

2.4合成指令數據集的生成方法

2.4.1基於persona生成合成樣本提示

2.4.2批量生成問題

2.4.3批量生成回答

2.4.4導出數據集

2.5合成偏好數據集的生成方法

2.6基於偏好數據的模型化

2.6.1獲取提示

2.6.2生成多樣化的回答

第3章邊緣側模型訓練與署

3.1預訓練與微調的本質區別

3.1.1預訓練與微調的征對比

3.1.2預訓練與微調核心代碼示例

3.1.3從兩個角度區分微調

3.2從訓練範式與算法區分微調

3.2.1訓練範式細分

3.2.2訓練範式代碼展現：SFT和GRPO

3.3從模型參數更新機制區分微調

3.3.1從模型加載與訓練參數角度看微調差異

3.3.2從微調後的性能角度看

3.3.3全參數微調、LoRA 和 QLoRA 代碼示例

3.3.4Adapter合並的選擇

3.4Multiple LoRA Adapters方案

3.4.1Multi LoRA Adapter的勢

3.4.2Multi LoRA Adapter的代碼實現

3.5為邊緣推理進行模型量化

3.5.1NVFP4：E2M1格式與雙層縮放

3.5.2GPTQ：逐層量化與誤差補償

3.5.3AWQ: 基於激活值感知的權重護

3.5.4GGUF: 面向CPU推理的通用格式

3.5.5量化算法對比總結

3.6通過訓練飛輪方法論持續疊代化模型

3.6.1業務場景與痛點

3.6.2技術選型分析

3.6.3訓練飛輪實現方案

3.6.4值量化

第4章邊緣側模型的微調

4.1微調的佳實踐

4.1.1影響AI訓練時間的關鍵因素

4.1.2微調中常見的參數

4.1.3批大小

4.1.4Epochs

4.1.5梯度累積與梯度檢查點

4.1.6學習率與學習率調度器

4.1.7化器

4.1.8半度訓練（FP16和BF16）

4.1.估與存步驟

4.1.10LoRA 參數與實現方法

4.1.11總結

4.2微調文本語言模型佳實踐

4.2.1場景介紹與微調目標

4.2.2次微調與初步探索

4.2.3針對過擬合問題的化策略與嘗試

4.2.4引入鏈式推理和使用英文數據集

4.2.5數據增強與泛化提升

4.2.6從LoRA微調升級到全參數微調

4.2.7EOS Token調整與模型輸出格式化

4.2.8微調的經驗總結

4.3微調視覺模型佳實踐

4.3.1VLM的對比與分類

4.3.2微調模式的選擇

4.3.3微調Florence-2 GQA代碼展示

5章邊緣側高效推理與性能化

5.1微調中的資源開銷

5.1.1全參數微調資源開銷

5.1.2LoRA微調資源開銷

5.2大規模訓練化策略

5.2.1以 Llama-3-70B分析ZeRO內存節約

5.2.2ZeRO與全參數微調、PEFT之間的關系

5.2.3約訓練開銷的工程化選擇

5.2.4DeepSpeed-ZeRO與PyTorch FSDP分布式訓練實現及對比

5.3推理段的資源開銷

5.3.1模型參數資源開銷及計算方法

5.3.2激活值內存的詳細計算

5.3.3KV緩存內存開銷確計算

5.3.4Llama-3-70B推理顯存需求匯總

5.4量化後的推理資源開銷

5.4.1量化後模型的顯存計算

5.4.2分組量化的元數據開銷

5.4.3主流邊緣模型的顯存需求對比

第6章AI PC邊緣側多模態智能助手構建

6.1AI PC的硬件平臺架構

6.2推理引擎選擇

6.2.1ONNX Runtime：跨平臺的通用加速器

6.2.2用推理引擎對比

6.3本地多模態智能助手的模型選型與化

6.3.1LLM/SLM 語言模型選型

6.3.2語音識別模型選型

6.3.3語音合成模型選型

6.4Embedding 模型與本地向量數據庫選型

6.4.1Embedding 模型選型

6.4.2本地向量數據庫選型

6.5模型微調與化技術

6.5.1端側本地模型微調

6.5.2端側模型量化技術

6.6基於 C# 的多模態智能助手系統實現

6.6.1總體架構設計

6.6.2模型推理集成

6.6.3本地多模態語音助手系統示例

6.7結論與展望：本地智能體的未來形態

第7章邊緣側視覺語言模型與計算機視覺應用

7.1邊緣側視覺語言模型推理化與微調實戰

7.1.1推理化：護照OCR自動識別

7.1.2微調實戰：Burberry商品識別

7.1.3案例總結

7.2Florence-2：統一視覺架構的多任務實踐

7.2.1Florence-2的三大核心創新

7.2.2五大應用場景實戰

7.2.3案例總結：統一架構的勢與局限

7.3BiomedParse：醫學影像邊緣側分割模型微調實踐

7.3.1微軟醫療AI生態與BiomedParse定位

7.3.2模型架構：文本提示驅動的分割範式

7.3.32D模式微調：CT影像器官分割實踐

7.3.43D模式微調：腎上腺分割實踐

7.3.5案例總結與經驗提煉

參考文獻