機器學習基礎及應用

景麗萍，博士，北京交通大學教授、博士生導師，現任計算機與信息技術學院副院長。擔任中國計算機學會人工智能與模式識別專委會副主任，中國人工智能學會機器學習專委會常委，《中國科學》青年編委，入選國家級青年人才計劃、教育部創新團隊負責人、北京市課程思政教學名師、北京市海澱區人大代表、北京交通大學卓越百人，獲評北京交通大學“巾幗十傑”、“優秀教師”等。主持多項省部級、國家級項目，包括國家自然基金優青項目、科技部新一代人工智能重大專項、國防科技創新重點項目、北京市自然基金重點研究專題等。研究方向主要聚焦機器學習理論算法、大模型架構、及其在智能領域的應用，先後提出一系列高維數據表示、弱監督學習、可解釋學習理論和方法、以及大模型解釋與對抗防禦方法，研究成果近年來在國內外**學術期刊和會議上發表，並成功應用於智能交通、智能芯片、智能教育、智能國防等領域。

 

目錄

 

第一部分緒論

 

 

第1章緒論

 

1．1人工智能簡介

 

1．1．1人工智能的發展歷史

 

1．1．2人工智能的流派

 

1．2機器學習發展及應用

 

1．2．1機器學習發展歷史

 

1．2．2機器學習流派

 

1．2．3機器學習應用

 

1．3機器學習基本概念

 

1．3．1基本術語

 

1．3．2歸納學習

 

1．3．3歸納偏好

 

1．3．4學習三要素

 

1．3．5學習效果評估

 

1．4機器學習類型

 

1．4．1經典學習

 

1．4．2自監督學習

 

1．4．3集成學習

 

1．4．4強化學習

 

1．5常用理論與定理

 

1．5．1PAC學習理論

 

1.5.2VC理論

 

1．5．3沒有免費午餐定理

 

1．5．4奧卡姆剃刀原理

 

1．5．5醜小鴨定理

 

1．5．6收益遞減規律

 

1．6小結與延伸閱讀

 

習題

 

參考文獻

 

第二部分數 據 表 示

 

 

第2章基礎數據類型

 

2．1結構化數據 

 

2．1．1結構化數據概念

 

2．1．2結構化數據特點

 

2．1．3結構化數據表示

 

2．2非結構化數據

 

2．2．1非結構化數據概念

 

2．2．2非結構化數據特點

 

2．2．3非結構化數據表示

 

2．3基礎數據結構

 

2．3．1向量 

 

2．3．2矩陣

 

2．3．3張量

 

2．4小結與延伸閱讀

 

習題

 

第3章文本數據

 

3．1文本數據基本特點

 

3．1．1特征稀疏性 

 

3．1．2語義復雜性 

 

3．2文本數據預處理

 

3．2．1文本清洗

 

3．2．2分詞

 

3．2．3文本標註

 

3．2．4詞形還原與詞幹提取

 

3．3文本數據表示

 

3．3．1離散表示法

 

3．3．2分布表示法

 

3．4小結與延伸閱讀

 

習題

 

參考文獻

 

第4章圖像數據

 

4．1圖像數據基本特點

 

4．1．1局部相關性

 

4．1．2尺度可變性

 

4．1．3光照可變性

 

4．2圖像數據預處理

 

4．2．1圖像清洗和噪聲去除

 

4．2．2色彩空間轉換

 

4．2．3對比度增強

 

4．2．4直方圖均衡化

 

4．3圖像數據表示

 

4．3．1離散表示法

 

4．3．2分布表示法

 

4．4小結與延伸閱讀

 

習題

 

參考文獻

 

第5章音頻數據

 

5．1音頻數據基本特點

 

5．1．1連續性

 

5．1．2時序性

 

5．2音頻數據預處理

 

5．2．1音頻清洗

 

5．2．2采樣頻率和位寬轉換

 

5．2．3分幀處理

 

5．2．4時頻分析

 

5．3音頻數據表示

 

5．3．1離散表示法

 

5．3．2分布表示法 

 

5．4小結與延伸閱讀

 

習題

 

參考文獻

 

第6章視頻數據

 

6．1視頻數據基本特點

 

6．1．1時空特性 

 

6．1．2多模態性

 

6．2視頻數據的預處理

 

6．2．1視頻清洗

 

6．2．2視頻解碼與數據解析

 

6．2．3去抖動與畫質增強

 

6．3視頻數據表示

 

6．3．1離散表示法

 

6．3．2分布表示法

 

6．4小結與延伸閱讀

 

習題

 

參考文獻

 

第7章數據表示總結與挑戰

 

7．1數據挑戰

 

7．1．1數據質量 

 

7．1．2數據偏差

 

7．1．3數據安全

 

7．2小結與展望

 

7．2．1小結

 

7．2．2展望

 

習題

 

第三部分學 習 模 型

 

 

第8章線性模型

 

8．1線性回歸

 

8．1．1概念介紹

 

8．1．2方法介紹

 

8．2Logistic回歸

 

8．2．1概念介紹

 

8．2．2方法介紹

 

8．3線性判別分析

 

8．3．1概念介紹

 

8．3．2方法介紹

 

8．4應用案例

 

8．5小結與延伸閱讀

 

習題

 

參考文獻

 

第9章貝葉斯決策

 

9．1貝葉斯決策理論

 

9．2樸素貝葉斯分類器

 

9．2．1基本方法

 

9．2．2模型學習

 

9．3貝葉斯網絡

 

9．3．1貝葉斯網絡結構

 

9．3．2模型學習

 

9．3．3後驗推斷

 

9．4應用案例

 

9．5小結與延伸閱讀

 

習題

 

參考文獻

 

第10章聚類分析

 

10．1聚類基本概念

 

10．1．1距離度量

 

10．1．2度量指標

 

10．2原型聚類

 

10．2．1K均值

 

10．2．2高斯混合模型

 

10.2.3Kmodes

 

10．3密度聚類

 

10．4層次聚類

 

10.5譜聚類

 

10.5.1構圖

 

10.5.2切圖

 

10.5.3譜聚類的概率解釋

 

10.5.4譜聚類算法

 

10．6應用案例

 

10．7小結與延伸閱讀

 

習題

 

參考文獻

 

第11章生成模型

 

11．1生成模型概述

 

11．1．1密度估計

 

11．1．2數據生成

 

11．1．3特征學習

 

11．2變分自編碼器

 

11．2．1基本概念

 

11．2．2方法介紹

 

11．2．3變分自編碼器的變種

 

11．3擴散模型

 

11．3．1基本概念

 

11．3．2方法介紹

 

11．3．3擴散模型的變種

 

11．4應用案例

 

11．5小結與延伸閱讀

 

習題

 

參考文獻

 

第12章對比學習

 

12．1對比學習基本概念

 

12．1．1正負樣本構建策略

 

12．1．2數據增廣方法

 

12．2對比學習損失

 

12．2．1三元組損失

 

12．2．2N元組損失

 

12．2．3噪聲對比估計

 

12．3對比學習架構

 

12．3．1對稱架構

 

12．3．2非對稱架構

 

12．4掩碼機制

 

12．4．1掩碼自編碼器

 

12．4．2掩碼擴散模型

 

12．5應用案例

 

12．6小結與延伸閱讀

 

習題

 

參考文獻

 

第13章集成學習

 

13．1集成學習思想

 

13．2Boosting集成學習

 

13．2．1基本思路

 

13．2．2AdaBoost算法

 

13．2．3訓練誤差分析

 

13．2．4提升樹

 

13．3Bagging集成學習

 

13．3．1自助采樣法

 

13．3．2Bagging算法

 

13．4決策樹與隨機森林

 

13．4．1決策樹原理

 

13．4．2決策樹構建與剪枝

 

13．4．3隨機森林

 

13．5神經網絡Dropout

 

13．5．1Dropout基本原理

 

13．5．2Dropout的集成解釋

 

13．6應用案例

 

13．7小結與延伸閱讀

 

習題

 

參考文獻

 

第14章強化學習

 

14．1強化學習思想

 

14．2基於值函數的強化學習

 

14．2．1動態規劃算法

 

14．2．2蒙特卡羅方法

 

14．2．3時序差分學習方法

 

14．2．4深度Q網絡

 

14．3基於策略函數的強化學習

 

14．3．1REINFORCE算法

 

14．3．2帶基準線的REINFORCE算法

 

14．4演員評論員算法

 

14．4．1演員評論員算法基礎

 

14．4．2算法變種(A2C和A3C)

 

14．5應用案例

 

14．6小結與延伸閱讀

 

習題

 

參考文獻

 

第15章學習模型總結與挑戰

 

15．1學習挑戰

 

15．1．1模型復雜性

 

15．1．2模型泛化性

 

15．1．3學習穩定性

 

15．2小結與展望

 

15．2．1小結

 

15．2．2展望

 

習題

 

參考文獻

 

第四部分算 法 平 臺

 

 

第16章算法平臺概述

 

16．1算法平臺發展簡介

 

16．2算法平臺體系結構

 

16．3傳統算法平臺挑戰

 

16．4現代算法平臺功能

 

16．5小結與延伸閱讀

 

習題

 

參考文獻

 

第17章算法開發與優化

 

17．1算法開發與調試

 

17．1．1算法開發硬件準備

 

17．1．2算法開發軟件環境

 

17．1．3算法調試工具

 

17．2模型訓練與優化

 

17．2．1特征提取

 

17．2．2目標優化

 

17．2．3模型訓練

 

17．2．4分布式訓練

 

17．3模型性能評估

 

17．3．1模型驗證

 

17．3．2準確性評估

 

17．3．3安全性評估

 

17．3．4可解釋性評估

 

17．4小結與延伸閱讀

 

習題

 

參考文獻

 

第18章算法部署與擴展

 

18．1算法部署與服務化

 

18．1．1網絡服務部署

 

18．1．2跨應用集成部署

 

18．1．3雲服務部署

 

18．1．4邊緣設備部署

 

18．2算法測試

 

18．2．1測試屬性

 

18．2．2測試組件

 

18．2．3測試工作流程

 

18．3算法疊代優化

 

18．3．1性能監控

 

18．3．2模型管理

 

18．3．3A/B測試

 

18．3．4模型持續集成交付

 

18．4小結與延伸閱讀

 

習題

 

參考文獻

 

第19章算法平臺總結與挑戰

 

19．1平臺挑戰

 

19．1．1平臺的高效性

 

19．1．2平臺的可靠性

 

19．2小結與展望

 

19．2．1小結

 

19．2．2展望

 

參考文獻