Python大數據挖掘與人工智能應用（微課版）

黃恒秋，2011年7月-2014年6月就職於深圳市國泰安信息技術有限公司，從事CSMAR數據庫分析師、量化分析研究、軟件策劃及設計相關工作。2014年9月至今，廣西民族師範學院數學與計算機科學學院專任教師，高級實驗師、副教授，從事大數據分析與挖掘、金融數據挖掘、數學建模等相關課程教學工作。發表中文核心期刊論文3篇，其中EI源刊1篇。出版大數據分析相關專業教材3部，人民郵電出版社優秀作者，2024年廣西優秀教材獲得者，主持教育部產學研協同育人項目和省級教改項目3項，基於頭歌實踐教學平臺建設教材配套的在線智慧實驗課程3門。作為組織者和主要完成人榮獲廣西高等教育教學成果獎二等獎，指導學生參加互聯網+創新創業大賽、挑戰杯競賽、數據挖掘競賽、數學建模競賽、計算機設計大賽、人工智能競賽等獲省部級以上獎勵50余項。

第 1章 Python基礎 2 1.1　Python概述　2 1.2　Python安裝及啟動　3 1.2.1　Python安裝　3 1.2.2　Python啟動及界面認識　5 1.2.3　Python安裝擴展包　9 1.3　Python基本數據類型　10 1.3.1　數值的定義　10 1.3.2　字符串的定義　11 1.3.3　列表的定義　11 1.3.4　元組的定義　11 1.3.5　集合的定義　12 1.3.6　字典的定義　12 1.3.7　列表、元組、集合與字典之間的比較　13 1.4　Python相關的公有方法　13 1.4.1　索引　13 1.4.2　切片　14 1.4.3　長度　15 1.4.4　統計　15 1.4.5　成員身份　15 1.4.6　變量刪除　16 1.5　列表、元組與字符串方法　16 1.5.1　列表方法　16 1.5.2　元組方法　18 1.5.3　字符串方法　19 1.6　字典方法　20 1.7　條件語句　21 1.7.1　if…語句　21 1.7.2　if…else…語句　22 1.7.3　if…elif…else…語句　22 1.8　循環語句　22 1.8.1　while語句　23 1.8.2　for循環　23 1.9　函數　23 1.9.1　無返回值函數的定義與調用　24 1.9.2　有返回值函數的定義與調用　24 1.9.3　有多返回值函數的定義與調用　24 本章小結　25 本章練習　25 第　2章 科學計算包Numpy　26 2.1　Numpy簡介　26 2.2　創建數組　28 2.2.1　利用array()函數創建數組　28 2.2.2　利用內置函數創建數組　29 2.3　數組尺寸　29 2.4　數組運算　30 2.5　數組切片　31 2.5.1　常見的數組切片方法　31 2.5.2　利用ix_()函數進行數組切片　32 2.6　數組連接　33 2.7　數據存取　34 2.8　數組形態變換　35 2.9　數組排序與搜索　36 2.10　矩陣與線性代數運算　37 2.10.1　創建Numpy矩陣　37 2.10.2　矩陣的屬性和基本運算　38 2.10.3　線性代數運算　39 本章小結　42 本章練習　43 第3章　數據處理包Pandas　43 3.1　Pandas簡介　44 3.2　序列　45 3.2.1　序列創建及訪問　45 3.2.2　序列屬性　46 3.2.3　序列方法　47 3.2.4　序列切片　48 3.2.5　序列聚合運算　49 3.3　數據框　49 3.3.1　數據框創建　50 3.3.2　數據框屬性　50 3.3.3　數據框方法　51 3.3.4　數據框切片　55 3.4　外部文件讀取　56 3.4.1　Excel文件讀取　56 3.4.2　TXT文件讀取　57 3.4.3　CSV文件讀取　58 本章小結　59 本章練習　60 第4章　數據可視化包Matplotlib　61 4.1　Matplotlib繪圖基礎　61 4.1.1　Matplotlib圖像構成　62 4.1.2　Matplotlib繪圖基本流程　62 4.1.3　中文字符顯示　64 4.1.4　坐標軸字符刻度標註　65 4.2　Matplotlib常用圖形繪制　67 4.2.1　散點圖　68 4.2.2　線性圖　69 4.2.3　柱狀圖　70 4.2.4　直方圖　71 4.2.5　餅圖　72 4.2.6　箱線圖　72 4.2.7　子圖　73 本章小結　76 本章練習　76 第5章　數據預處理與特征工程　76 5.1　重復數據處理　77 5.2　數據的合並與關聯　77 5.2.1　基於數據框的合並　77 5.2.2　基於數據框的關聯　78 5.3　時間格式處理與日期元素提取　79 5.3.1　時間處理函數　79 5.3.2　時間元素提取　80 5.4　映射與離散化　82 5.5　滾動計算與分組統計計算　84 5.5.1　滾動計算　84 5.5.2　分組統計計算　85 5.7　樣本均衡處理　87 5.7.1　過抽樣　87 5.7.2　欠抽樣　88 5.8　缺失值處理　88 5.8.1　單變量插值填充　88 5.8.2　多變量插值填充　90 5.8.3　K最近鄰插值填充　92 5.9　數據規範化　93 5.9.1　均值-方差規範化　93 5.9.2　極差規範化　95 5.10　特征組合與特征選擇　96 5.10.1　基於主成分分析的特征組合　96 5.10.2　特征選擇　103 本章小結　110 本章練習　110 第6章　機器學習模型與實現　112 6.1　線性回歸　113 6.1.1　一元線性回歸　113 6.1.2　多元線性回歸　115 6.1.3　Python線性回歸應用舉例　116 6.2　邏輯回歸　118 6.2.1　邏輯回歸模型　119 6.2.2　Python邏輯回歸模型應用舉例　119 6.3　神經網絡　120 6.3.1　神經網絡模擬思想　121 6.3.2　神經網絡結構及數學模型　122 6.3.3　Python神經網絡分類應用舉例　123 6.3.4　Python神經網絡回歸應用舉例　124 6.4　支持向量機　125 6.4.1　支持向量機原理　125 6.4.2　Python支持向量機應用舉例　126 6.5　K-均值聚類　128 6.5.1　K-均值聚類的基本原理　129 6.5.2　Python K-均值聚類算法應用舉例　131 6.6　關聯規則　134 6.6.1　關聯規則概念　134 6.6.2　布爾關聯規則挖掘　135 6.6.3　一對一關聯規則挖掘及Python實現　136 本章小結　138 本章練習　138 第7章　集成學習模型與實現　142 7.1　集成學習的概念　143 7.1.1　集成學習的基本原理　143 7.1.2　個體學習器對集成學習模型性能的影響　143 7.1.3　集成學習的結合策略　145 7.1.4　集成學習的類型　146 7.2　Bagging算法　146 7.2.1　Bagging算法的基本原理　146 7.2.2　Bagging算法的Sklearn實現　147 7.2.3　Bagging算法的應用舉例　147 7.3　隨機森林算法　149 7.3.1　隨機森林算法的基本原理　149 7.3.2　隨機森林算法的Sklearn實現　150 7.3.3　Python隨機森林算法的應用舉例　150 7.4　Boosting算法　152 7.5　AdaBoost算法　152 7.5.1　AdaBoost算法的基本原理　152 7.5.2　AdaBoost算法的Sklearn實現　154 7.5.3　AdaBoost算法的應用舉例　154 7.6　GBDT算法　157 7.6.1　GBDT算法的基本原理　157 7.6.2　GBDT算法的Sklearn實現　157 7.6.3　GBDT算法的應用舉例　158 7.7　XGBoost算法　160 7.7.1　XGBoost算法的基本原理　160 7.7.2　XGBoost算法的Sklearn實現　160 7.7.3　XGBOOST算法的應用舉例　161 本章小結　163 本章練習　163 第8章　深度學習模型與實現　163 8.1　深度學習簡介　164 8.2　深度學習框架簡介　164 8.2.　1 Pytorch框架　164 8.2.2　PaddlePaddle框架　165 8.2.3　TensorFlow框架　165 8.3　TensorFlow基礎　165 8.3.1　TensorFlow安裝　165 8.3.2　TensorFlow命令簡介　166 8.3.3　TensorFlow案例　168 8.4　多層神經網絡　171 8.4.1　多層神經網絡結構及數學模型　172 8.4.2　多層神經網絡分類問題應用舉例　173 8.4.3　多層神經網絡回歸問題應用舉例　178 8.5　卷積神經網絡　185 6.5.1　卷積層計算　186 8.5.2　池化層計算　188 8.5.3　全連接層計算　189 8.5.4　CNN應用案例　190 8.6　循環神經網絡　195 8.6.1　RNN結構及數學模型　195 8.6.2　長短期記憶網絡（LSTM）　197 8.6.3　RNN應用案例　198 本章小結　202 本章練習　202 第9章　大模型基礎與開發平臺　202 9.1　大模型基本認識　203 9.2　BERT大語言模型　204 9.2.1　BERT模型開發環境搭建：基於Python和TensorFlow　204 9.2.2　BERT基本概念　206 9.2.3　BERT輸入　206 9.2.4　BERT輸出　208 9.2.5　BERT特征提取與文本相似度計算　208 9.2.6　BERT下遊微調任務之分類　209 9.2.7　BERT下遊微調任務之問答　210 9.2.8　BERT下遊微調模型保存與加載　211 9.3　DeepSeek開發平臺及V3和R1大模型調用實例　211 9.3.1　DeepSeek Python SDK與OpenAI接口包安裝　211 9.3.2　DeepSeek-V3調用實例　212 9.3.3　DeepSeek-R1調用實例　213 9.4　百度千帆大模型平臺及應用實例　214 9.4.1　Python SDK安裝　214 9.4.2　安全認證AK/SK鑒權　215 9.4.3　文心系列大語言模型應用實例　215 9.4.4　Stable-Diffusion-XL模型應用實例：圖像生成　216 9.4.5　Fuyu-8B模型應用實例：圖像理解　217 9.4.6　基於Fuyu-8B模型與OpenCV的拓展應用實例：視頻理解　218 9.5　阿裏雲百煉大模型平臺及應用實例　221 9.5.1　Python SDK安裝　221 9.5.2　創建API-KEY　222 9.5.3　基於通義千問ASR的本地錄音文件識別：語音轉文字　223 9.5.4　基於通義Paraformer的實時語音識別：實時語音轉文字　225 9.5.5　基於sambert語音合成：文字轉語音　227 本章小結　228 本章練習　228 第　10章 BERT與DeepSeek大模型微調應用案例　230 10.1　BERT大語言模型本地微調實現中文閱讀理解　230 10.1.1　案例介紹　230 10.1.2　數據解讀　230 10.1.3　數據解析　231 10.1.4　長文本截斷處理　233 10.1.5　答案在截斷文本中的開始位置和結束位置獲取　236 10.1.6　BERT輸入參數及開始位置、結束位置標簽構造　237 10.1.7　BERT微調模型的訓練集、驗證集和測試集構造　239 10.1.8　BERT微調模型編譯、訓練與保存　240 10.1.9　BERT微調模型加載及應用　241 10.2　BERT大語言模型雲服務器微調實現中文閱讀理解　241 10.2.1　AutoDL雲服務器資源租賃　242 10.2.2　開發環境搭建　243 10.2.3　數據和依賴文件上傳　244 10.2.4　微調訓練　245 10.2.5　微調模型應用　249 10.3　百度千帆大模型平臺微調DeepSeek-R1實現中醫問答　250 10.3.1　平臺基本認識　250 10.3.2　數據集準備　250 10.3.3　數據集創建　251 10.3.4　模型微調訓練　252 10.3.5　模型部署　254 10.3.6　模型應用　255 本章小結　257 本章練習　258 第　11章 基於集成學習的發動機燃油噴射與排放預測　258 11.1　基於梯度提升樹模型的發動機燃油噴射量預測　258 11.1.1　案例目標及實現思路　259 11.1.2　數據獲取與探索　259 11.1.3　模型建立與實現　261 11.1.4　結果分析　262 11.2　基於MPA-LightGBM的發動機CO、HC和NOx排放預測　264 11.2.1　案例目標及實現思路　264 11.2.2　數據獲取與探索　265 11.2.3　LightGBM模型框架簡介　268 11.2.4　MPA的原理和實現　269 11.2.5　基於MPA-LightGBM模型的發動機排放預測　273 11.2.6　結果分析　275 本章小結　277 本章練習　277 第　12章 基於機器學習與深度學習模型的水色圖像水質評價　279 12.1　案例背景　280 12.2　案例目標及實現思路　280 12.3　數據獲取與探索　280 12.4　支持向量機分類識別模型　282 12.4.1　顏色特征計算方法　282 12.4.2　自變量與因變量計算　283 12.4.3　模型實現　285 12.5　卷積神經網絡分類識別模型：灰圖　286 12.5.1　數據處理　286 12.5.2　模型實現　288 12.6　卷積神經網絡識別模型：彩圖　290 12.6.1　數據處理　290 12.6.2　模型實現　292 本章小結　293 本章練習　293 第　13章 基於大模型的AI作畫與Streamlit web應用部署　294 13.1　基於大模型的AI作畫與Streamlit web應用開發　294 13.1.1　streamlit開發環境搭建　295 13.1.2　主體頁面設計　296 13.1.3　主體頁面程序實現　297 13.1.4　繪圖事件函數定義　298 13.1.5　Streamlit web開發　299 13.2　基於百度飛漿AI studio星河社區的Streamlit Web應用部署　300 13.3　基於騰訊雲服務器的Streamlit Web應用部署　303 13.3.1　騰訊雲服務器的選擇及配置　303 13.3.2　創建Xshell鏈接騰訊雲服務器　307 13.3.3　寶塔Linux面板註冊和登錄　313 13.3.4　寶塔Linux面板安裝環境依賴　316 13.3.5　項目文件上傳與Web部署　317 本章小結　325 本章練習　325 第　14章 基於扣子平臺和DeepSeek大模型的智能體開發　326 14.1　大模型應用前沿與發展動態　326 14.2　大模型應用前沿：AI智能體　327 14.2.1　AI智能體概念及應用前景　327 14.2.2　AI智能體開發流程：以扣子平臺為例　329 14.2.3　基於Deepseek-V3和R1的AI智能體開發　332 本章小結　347 本章練習　347