數據科學與大數據技術導論（第2版）（微課版）

杜小勇： 工學博士，中國人民大學信息學院教授，博士生導師。主要研究方向：高性能數據庫實現技術、語義網技術、數字圖書館技術、智能信息檢索技術。 （1）在教學方面，杜小勇教授長期擔任數據庫相關課程的主講教師，是101計劃和智能基座的數據庫虛擬教研室負責人，數據庫國家級一流課程負責人等。其科研教學成果曾獲得北京市教學成果一等獎、中國計算機學會科學技術一等獎（排名第二，2015）、教育部科技進步一等獎（排名第一，2017）、國家科技進步二等獎（排名第一，2018）等榮譽。主講的“數據庫系統概論”是計算機科學與技術、軟件工程等專業的核心必修課程，自2020年11月起被教育部認定為首批國家級一流本科課程。 （2）在研究方面，杜小勇教授曾擔任國家863計劃數據庫重大專項專家組組長，並作為中國計算機學會數據庫專業委員會主任，致力於數據庫系統核心技術的教學、研發與成果轉化。杜小勇教授主持和參與了多項國家級科研項目，包括國家973計劃項目、科技部重點研發項目、國家自然科學基金項目等，這些項目涉及海量弱可用信息上知識發現、雲計算環境下信息資源集成與服務、RDF數據管理系統核心技術研究等領域。 （3）在教材編寫方面，杜小勇教授編寫了《數據庫系統概論（第6版）》、《大數據管理》、《數據科學與大數據技術導論》等教材。《數據庫系統概論》作為國內經典的數據庫教材，累計發行超過350萬冊，受到廣大教師和學生的歡迎。《數據科學與大數據技術導論》是為高校數據科學導論課程編寫的教材，旨在介紹大數據相關的概念、理論、術語與基礎技術，並培養學生使用開源工具進行數據分析的能力。

【章名目錄】 第　1章 數據科學概論 第　2章 Python入門 第3章　表格數據分析 第4章　數據整理 第5章　數據可視化 第6章　數據分析 第7章　文本分析 第8章　圖數據分析 第9章　大數據治理 第　10章 深度學習與大模型 第　11章 綜合案例 【詳細目錄】 第　1章 數據科學概論 1.1　數據：數字時代的“新石油”　1 1.1.1　大數據的提出與發展　2 1.1.2　大數據帶來的深刻變革　2 1.2　數據思維：數據科學的核心素養　3 1.2.1　科學研究的“第四範式”　3 1.2.2　數據思維賦能千行百業　5 1.2.3　數據驅動的社會科學　5 1.3　以數據為中心的問題求解：數據科學的核心能力　6 1.3.1　提出問題　7 1.3.2　準備數據　7 1.3.3　分析數據　8 1.3.4　呈現結果　8 1.4　數據科學與數據科學家　8 1.5　“數據科學導論”課程的內容體系與教學目標　9 習題　10 第　2章 Python入門 2.1　Python概述　11 2.2　開發環境配置　12 2.3　變量、常量、註釋　13 2.4　基本數據類型　14 2.5　內置數據類型　15 2.6　運算符與表達式　18 2.7　程序的基本結構：順序結構、分支結構與循環結構　19 2.8　完整的程序實例：數據結構與算法　21 2.8.1　冒泡排序　22 2.8.2　二分查找　23 2.9　函數、遞歸與庫函數　23 2.9.1　函數的定義　23 2.9.2　n的階乘　24 2.9.3　漢諾塔　25 2.9.4　庫函數　25 2.10　面向對象編程　26 2.10.1　封裝　26 2.10.2　構造函數　27 2.10.3　對象銷毀與垃圾回收　27 2.10.4　繼承　27 2.10.5　重寫　27 2.11　異常處理　28 2.12　主要Python庫簡介　28 2.12.1　pandas庫　29 2.12.2　NumPy庫　29 2.12.3　scikit-learn庫　29 2.12.4　Keras&TensorFlow庫　29 2.12.5　Matplotlib庫　30 2.12.6　NetworkX庫　30 2.12.7　NLTK庫　31 習題　31 第3章　表格數據分析 　3.1 多樣化的數據　32 3.1.1　現實中的不同數據　32 3.1.2　數據模型　33 3.1.3　數據分類　34 3.1.4　不同數據處理工具的對比　34 3.2　多維數組分析工具：NumPy　34 3.2.1　多維數組　34 3.2.2　NumPy簡介　35 3.2.3　多維數組的創建和運算　35 3.2.4　數據切片　38 3.3　表格數據分析工具：pandas　39 3.3.1　表格數據　39 3.3.2　pandas簡介　39 3.3.3　pandas的數據結構　39 3.3.4　Series對象的創建與訪問　40 3.3.5　DataFrame對象的創建　42 3.3.6　DataFrame的基本操作　44 3.3.7　條件篩選　46 3.3.8　插入、更新與刪除操作　48 3.3.9　數據分組與數據透視表　49 3.4　關系數據模型和SQL基礎　51 3.4.1　關系數據模型　51 3.4.2　關系操作　52 3.4.3　SQL簡介　53 3.4.4　SELECT語句的一般形式　53 3.4.5　單表查詢　53 3.4.6　使用SQLite查詢表格數據　56 習題　58 第4章　數據整理 　4.1 數據采集　59 4.1.1　數據采集的重要因素　59 4.1.2　推-拉機制　60 4.1.3　發布-訂閱機制　60 4.1.4　大數據收集系統　61 4.1.5　自定義連接器　61 4.2　信息抽取　62 4.2.1　信息抽取概述　62 4.2.2　半結構化數據和非結構化數據　62 4.2.3　信息抽取的關鍵技術　64 4.3　數據清洗　65 4.3.1　數據清洗的定義與對象　66 4.3.2　數據清洗原理與實現　66 4.3.3　數據清洗與檢測方法　66 4.4　數據集成　68 4.4.1　數據集成概述　69 4.4.2　數據集成方法　69 4.4.3　數據集成的數據源異構問題　72 習題　73 第5章　數據可視化 5.1　數據可視化概述　74 5.1.1　數據可視化的定義　74 5.1.2　數據可視化的目標與作用　74 5.1.3　數據可視化的分類　74 5.2　可視化發展歷程　75 5.2.1　早期數據可視化的起源（17—19世紀）　75 5.2.2　20世紀的可視化技術與突破　77 5.2.3　大數據時代的可視化發展　78 5.3　數據可視化的基本原則　79 5.3.1　表達性原則　80 5.3.2　有效性原則　80 5.4　現有數據可視化工具　82 5.4.1　商業工具　82 5.4.2　開源工具　82 習題　84 第6章　數據分析 　6.1 人工智能、機器學習和深度學習　85 6.1.1　人工智能　85 6.1.2　機器學習　86 6.1.3　深度學習　86 6.2　機器學習的業務流程　86 6.3　機器學習的分類：監督學習、無監督學習與強化學習　87 6.4　機器學習的基本要素　88 6.4.1　常數模型+MSE損失函數　88 6.4.2　常數模型+MAE損失函數　89 6.5　分類　90 6.5.1　KNN算法　90 6.5.2　決策樹算法　93 6.5.3　分類算法的評價指標　102 6.6　回歸　103 6.6.1　一元線性回歸　103 6.6.2　多元線性回歸　105 6.6.3　多元線性回歸的解析解　105 6.6.4　多元線性回歸的梯度下降算法求解　110 6.6.5　多元線性回歸的評價：MSE、RMSE和擬合優度　116 6.7　聚類　118 6.7.1　k-means算法　118 6.7.2　高斯混合模型　121 6.7.3　聚類算法的評價　130 習題　134 第7章　文本分析 7.1　文本分析的背景和意義　135 7.2　以詞頻為中心的文本向量編碼　135 7.2.1　獨熱編碼　136 7.2.2　詞袋模型與n-gram模型　136 7.2.3　TF-IDF編碼　137 7.3　以詞相關性為中心的文本向量編碼　138 7.3.1　潛在語義分析　138 7.3.2　基於詞嵌入的文本表示　140 7.4　分詞算法　141 7.4.1　BPE算法　142 7.4.2　WordPiece算法　142 7.5　實際應用　143 7.5.1　基於樸素貝葉斯的垃圾郵件分類　143 7.5.2　基於線性模型的情感分析　144 7.5.3　人工智能中大語言模型的預訓練　144 習題　145 第8章　圖數據分析 8.1　網絡化世界與圖模型　146 8.2　圖的定義與基本表示　147 8.3　節點中心性分析　148 8.3.1　度中心性　149 8.3.2　接近中心性　149 8.3.3　中介中心性　150 8.3.4　3種中心性的比較　150 8.4　社區檢測　151 8.4.1　社區檢測的目標與意義　151 8.4.2　模塊度優化　151 8.4.3　Louvain算法　152 8.5　PageRank與影響力分析　153 8.5.1　PageRank算法的基本思想　153 8.5.2　PageRank的矩陣計算與穩態分布　154 8.5.3　個性化PageRank　155 8.5.4　信息傳播模型：Independent Cascades模型　155 8.5.5　影響力最大化問題　156 8.5.6　基於節點度的算法：Degree Discount　157 8.5.7　基於最短路徑的算法　157 8.6　圖分析工具：NetworkX實踐　159 8.6.1　NetworkX基本操作　159 8.6.2　可視化與中心性計算　160 8.7　節點嵌入與圖表征學習　162 8.7.1　隨機遊走方法：DeepWalk與Node2vec　162 8.7.2　圖嵌入技術簡介　163 習題　163 第9章　大數據治理 9.1　數據危機演進及其背後機理　164 9.2　數據治理的概念　165 9.2.1　從數據管理到數據治理　165 9.2.2　數據社會化　166 9.2.3　數據治理的跨域特性　166 9.2.4　社會信息系統與跨域數據治理體系　167 9.3　跨域數據治理關鍵任務　167 9.3.1　數據質量　167 9.3.2　數據安全　168 9.3.3　數據隱私　168 9.3.4　數據權屬　169 9.4　跨域數據治理關鍵階段　169 9.4.1　數據組織匯聚　169 9.4.2　數據發布　174 9.4.3　數據可信流通　177 9.5　典型案例：政企數據融合流通　182 習題　186 第　10章 深度學習與大模型 10.1　深度學習基礎　187 10.1.1　深度學習的定義　187 10.1.2　神經網絡基礎　188 10.1.3　訓練神經網絡　188 10.2　常見深度學習架構　189 10.2.1　卷積神經網絡　189 10.2.2　循環神經網絡　190 10.2.3　Transformer　191 10.3　大模型及其重要性　192 10.3.1　大模型的定義　192 10.3.2　大模型的訓練　193 10.3.3　大模型的應用　193 10.4　深度學習在數據科學與大數據中的應用　194 10.4.1　深度學習在數據科學中的應用　194 10.4.2　大數據上下文中的挑戰與解決方案　195 10.4.3　工具和框架　195 習題　196 第　11章 綜合案例 11.1　案例1：學生表現預測　197 11.1.1　問題描述　197 11.1.2　數據裝載與數據預處理　197 11.1.3　分類　200 11.1.4　回歸　204 11.2　案例2：中文文本的詞雲可視化與情感分析　206 11.2.1　問題描述　206 11.2.2　數據裝載與數據預處理　207 11.2.3　正面情感和負面情感文本的詞雲可視化　208 11.2.4　構建分類模型　209 11.2.5　對新數據進行預測　211 11.3　案例3：圖數據的節點重要度分析與社區檢測　212 11.3.1　問題描述　212 11.3.2　數據裝載與數據預處理　212 11.3.3　節點重要度分析　216 11.3.4　社區檢測與可視化　218 11.3.5　社區的簡化與可視化　219 習題　220