機器學習原理及應用（數學模型+工程實現）（微課視頻·DeepSeek賦能版）

李石峰，工學博士，中共黨員，CCF會員，信息科學與技術學院副教授，碩士生導師（高級工程師）。2008年在東北大學計算機軟件與理論獲得碩士學位，2012年獲得大連理工大學獲得信號與處理專業博士學位，2012.6-2020.5就職於中國人民銀行，高級工程師。研究生期間，參與東軟數字醫療軟件開發項目3項；博士期間，參與國際合作項目1項，完成華為公司合作項目1項，參與省部級、國家自然基金3項，主持項目1項。工作期間，先後參與國家級項目2項，主持省級橫向項目5項，主持國家自然基金項目1項，主持和參與省部級縱向項目5項。發表SCI，EI等論文40余篇，參與專著編輯1部，獲得國家級稱號1項，國家級三等獎1項，省部級二等獎3項，省部級三等獎1項。更多內容可以訪問：https://www.yuque.com/limax2008/kp2put/wsx7d2b1lv6ikk1s?singleDoc。

目錄

掃一掃

源碼下載

掃一掃

AI助教

第一部分基 礎 理 論

第1章緒論

1.1基本概念

1.1.1核心要素

1.1.2機器學習分類

1.1.3應用領域

1.2發展歷程

1.2.1萌芽與發展初期

1.2.2關鍵理論與技術的突破期

1.2.3深度學習爆發期

1.2.4未來展望

1.3重要性和挑戰

1.3.1機器學習的重要性

1.3.2機器學習的挑戰

1.4外延閱讀材料

1.4.1機器學習參考書

1.4.2深度學習參考書

1.4.3學術論文與綜述文章

1.4.4在線課程與視頻教程

1.4.5大語言模型

第2章基本術語及程序運行環境

2.1核心術語的直觀理解

2.2核心術語的專業定義

2.3程序環境安裝及配置

2.3.1Anaconda安裝

2.3.2環境配置

2.3.3Python庫安裝

2.4集成開發環境

2.4.1VSCode安裝和配置

2.4.2PyCharm安裝和配置

2.5免費在線開發資源

2.5.1Kaggle

2.5.2阿裏天池

2.5.3AWS SageMaker Studio(基礎版)

2.5.4選擇與使用建議

2.6實踐練習

2.6.1NumPy練習

2.6.2Pandas練習

2.6.3Matplotlib練習

2.6.4scikitlearn練習

2.6.5綜合練習

第3章模型評估

3.1分類問題評估指標

3.1.1基本術語定義

3.1.2準確率

3.1.3精確率與召回率

3.1.4F1分數

3.1.5混淆矩陣

3.2回歸問題評估指標

3.2.1均方誤差

3.2.2均方根誤差

3.2.3平均絕對誤差

3.2.4R2

3.3性能度量方法

3.3.1留出法

3.3.2K折交叉驗證

3.3.3留一法交叉驗證

3.3.4自助法

3.3.5交叉驗證示例

3.3.6超參數調優方法

3.3.7超參數調優示例

3.3.8模型對比與選擇

3.4實踐練習

3.4.1示例1： 評估指標計算

3.4.2示例2： 模型調優

第二部分經 典 方 法

第4章線性模型

4.1房價問題

4.1.1問題提出

4.1.2基本概念與應用

4.1.3房價計算

4.2簡單線性模型

4.2.1問題設定

4.2.2斜率的推導

4.2.3截距項的推導

4.3多元線性模型

4.3.1基本概念與應用

4.3.2多元房價問題

4.3.3一般形式說明

4.4邏輯回歸模型

4.4.1問題提出

4.4.2成績問題

4.4.3問題求解

4.4.4一般形式說明

4.4.5牛頓法求解

4.4.6邏輯回歸的應用與總結

4.5線性判別分析

4.5.1錄取預測問題

4.5.2LDA應用求解

4.5.3一般形式說明

4.6線性模型中的正則化

4.6.1問題提出

4.6.2正則化引入

4.6.3求解過程

4.6.4一般形式說明

4.6.5直觀認識

4.7實踐練習

4.7.1示例1： 有無正則化對比

4.7.2示例2： 房價預測

4.8補充知識

4.8.1矩陣逆、行列式和伴隨矩陣

4.8.2最小二乘法原理及其應用

4.8.3矩陣求導及其應用

4.8.4殘差及其應用

4.8.5梯度

4.8.6牛頓法的基礎數學知識

4.8.7協方差矩陣

4.8.8廣義特征值問題

第5章決策樹

5.1活動計劃問題

5.1.1周末計劃問題

5.1.2活動決策樹的構建

5.2決策樹構建

5.2.1數據集純度的概念

5.2.2信息熵： 衡量不確定性

5.2.3信息增益： 減少不確定性

5.2.4基尼指數： 衡量不純度

5.2.5信息增益和基尼指數計算

5.3剪枝操作

5.3.1剪枝的必要性

5.3.2預剪枝

5.3.3後剪枝

5.4連續屬性與缺失值處理

5.4.1連續屬性的節點劃分

5.4.2缺失值的處理方法

5.5實踐練習

5.5.1示例1： 鳶尾花分類問題

5.5.2示例2： 加利福尼亞房價預測問題

5.5.3示例3： 特征空間的劃分

第6章支持向量機

6.1水果分類問題

6.2SVM基本概念

6.2.1SVM的目標

6.2.2間隔

6.2.3硬間隔

6.2.4軟間隔

6.2.5核函數

6.2.6支持向量

6.2.7對偶問題

6.3硬間隔SVM

6.3.1基礎概念

6.3.2硬間隔SVM優化目標

6.4凸優化直接求解

6.4.1梯度下降法

6.4.2牛頓法

6.4.3內點法

6.5對偶問題求解

6.5.1原問題到對偶問題

6.5.2KKT條件

6.6SMO算法求解對偶問題

6.7軟間隔SVM

6.8SVM直觀理解

6.8.1點到超平面的距離

6.8.2平行超平面之間的距離

6.8.3點沿某維度到超平面的距離

6.9軟間隔SVM求解

6.10支持向量回歸

6.10.1SVR原始問題

6.10.2SVR對偶問題

6.10.3對偶問題求解

6.11核函數

6.11.1核函數的定義

6.11.2常用的核函數

6.11.3核函數的選擇

6.12核技巧

6.12.1核技巧直觀理解

6.12.2高斯徑向基核函數理解

6.13實踐練習

6.13.1示例1： 支持向量可視化

6.13.2示例2： 不同γ值高斯徑向基核函數可視化

6.13.3示例3： 手寫數字識別

6.14補充知識

6.14.1向量求導基礎

6.14.2向量範式基礎知識

6.14.3拉格朗日求解方法

6.14.4凸優化問題

6.14.5KKT條件

6.14.6張量積

第7章貝葉斯模型

7.1信件問題

7.2貝葉斯公式

7.2.1貝葉斯決策論

7.2.2貝葉斯公式推導

7.2.3貝葉斯決策規則

7.30/1損失最優貝葉斯

7.3.1最優貝葉斯分類器

7.3.2後驗概率直接計算的挑戰

7.3.3貝葉斯定理引入

7.3.4貝葉斯定理引入的問題

7.3.5相關解決方案

7.4樸素貝葉斯方法

7.4.1郵件分類問題

7.4.2直接計算的挑戰

7.4.3樸素貝葉斯假設

7.4.4樸素貝葉斯解決郵件分類

7.4.5樸素貝葉斯一般形式

7.5參數估計

7.5.1離散特征參數估計

7.5.2連續特征

7.6半樸素貝葉斯

7.6.1半樸素貝葉斯的基本思想

7.6.2依賴關系引入

7.6.3SPODE半樸素貝葉斯分類器

7.6.4AODE半樸素貝葉斯分類器

7.6.5TAN半樸素貝葉斯分類器

7.7實踐練習

7.7.1示例1： 電子郵件分類

7.7.2示例2： 疾病診斷

7.7.3示例3： 半樸素貝葉斯

7.8補充知識

7.8.1概率論的基礎概念

7.8.2拉普拉斯平滑

7.8.3最大似然估計正態分布的參數

第8章聚類

8.1照片分類問題

8.2聚類性能度量

8.2.1內部指標

8.2.2外部指標

8.2.3可視化輔助度量

8.2.4綜合評價

8.2.5性能度量小結

8.3聚類中的距離度量

8.3.1歐氏距離

8.3.2曼哈頓距離

8.3.3閔可夫斯基距離

8.3.4余弦相似度

8.3.5馬氏距離

8.3.6漢明距離

8.3.7傑卡德距離

8.3.8編輯距離

8.3.9小結

8.4原型聚類

8.4.1原型聚類的基本思想

8.4.2KMeans

8.4.3KMeans++

8.4.4模糊C均值聚類

8.4.5高斯混合模型

8.5密度聚類

8.5.1密度聚類的基本概念

8.5.2DBSCAN算法

8.5.3OPTICS算法

8.6分層聚類

8.6.1分層聚類的基本概念

8.6.2凝聚層次聚類

8.6.3分裂層次聚類

8.7實踐練習

8.7.1示例1： 基於KMeans的客戶分群

8.7.2示例2： 基於DBSCAN的異常檢測

8.7.3示例3： 基於凝聚層次聚類的文檔分類

8.7.4示例4： 照片分類

第9章數據降維

9.1水果營養分析問題

9.1.1從故事到原理

9.1.2水果降維

9.2主成分分析

9.2.1PCA目標函數

9.2.2PCA拉格朗日求解

9.3PCA核心要素直觀理解

9.3.1特征值分解理解

9.3.2特征向量可視化

9.4核化線性降維

9.4.1PCA的局限性

9.4.2核化線性降維

9.4.3核化PCA

9.4.4核化PCA實例

9.5線性判別分析降維

9.6實踐練習

9.6.1示例1： PCA降維

9.6.2示例2： LDA在鳶尾花數據集上的應用

9.6.3示例3： 核化PCA在Iris數據集上的應用

9.7補充知識

9.7.1協方差矩陣

9.7.2特征值和特征向量

9.7.3協方差矩陣

9.7.4矩陣特征分解

9.7.5協方差矩陣特征值的加權平均

第10章集成學習

10.1競賽問題

10.1.1競賽策略問題

10.1.2集成學習的核心思想

10.1.3Bagging： 獨立訓練，集體決策

10.1.4Boosting： 相互補強，構建更強預測力

10.1.5Stacking： 多元視角，統一判斷

10.2集成學習策略及經典實現

10.2.1Bagging和隨機森林

10.2.2Boosting和AdaBoost模型

10.2.3Stacking和元模型整合

10.3集成學習數學描述

10.3.1隨機森林回歸的數學描述

10.3.2AdaBoost 的數學描述

10.3.3Stacking模型的數學描述

10.4實踐練習

10.4.1示例1： 鳶尾花二分類

10.4.2示例2： 房價預測

10.4.3示例3： 集成學習方法對比

10.5補充知識

第三部分進 階 應 用

第11章特征選擇

11.1圖像分類問題

11.2過濾法

11.2.1皮爾遜相關系數

11.2.2互信息

11.2.3卡方檢驗

11.3包裹法

11.3.1遞歸特征消除

11.3.2前向選擇

11.3.3後向消除

11.4嵌入法

11.4.1L1 正則化

11.4.2決策樹及其變體

11.5實踐練習

11.5.1示例1： 乳腺癌分類

11.5.2示例2： 各類特征選擇方法對比

11.5.3示例3： 泰坦尼克號生存預測

第12章大語言模型賦能機器學習綜合案例

12.1大語言模型介紹

12.1.1大語言模型的核心定義與核心特性

12.1.2當前主流大語言模型介紹

12.1.3大語言模型在機器學習中的賦能價值

12.2核心案例：  基於大語言模型的學生行為與學業成績預測

12.2.1任務一：  預測學生周末飲酒量（大語言模型分步賦能）

12.2.2任務二：  預測學生期末總成績（大語言模型整體賦能）

12.3大語言模型輔助編程建議

12.3.1提示詞設計規範（適配機器學習場景）

12.3.2實操技巧與避坑指南

12.3.3不同任務的大語言模型使用策略

12.3.4技術提示 

12.4習題與實操任務

12.4.1理論習題

12.4.2實操任務

12.4.3拓展任務

參考文獻