數據科學與大數據技術導論（第2版）（微課版）

杜小勇： 工學博士，中國人民大學信息學院教授，博士生導師。主要研究方向：高性能數據庫實現技術、語義網技術、數字圖書館技術、智能信息檢索技術。 （1）在教學方面，杜小勇教授長期擔任數據庫相關課程的主講教師，是101計劃和智能基座的數據庫虛擬教研室負責人，數據庫國家級一流課程負責人等。其科研教學成果曾獲得北京市教學成果一等獎、中國計算機學會科學技術一等獎（排名第二，2015）、教育部科技進步一等獎（排名第一，2017）、國家科技進步二等獎（排名第一，2018）等榮譽。主講的“數據庫系統概論”是計算機科學與技術、軟件工程等專業的核心必修課程，自2020年11月起被教育部認定為首批國家級一流本科課程。 （2）在研究方面，杜小勇教授曾擔任國家863計劃數據庫重大專項專家組組長，並作為中國計算機學會數據庫專業委員會主任，致力於數據庫系統核心技術的教學、研發與成果轉化。杜小勇教授主持和參與了多項國家級科研項目，包括國家973計劃項目、科技部重點研發項目、國家自然科學基金項目等，這些項目涉及海量弱可用信息上知識發現、雲計算環境下信息資源集成與服務、RDF數據管理系統核心技術研究等領域。 （3）在教材編寫方面，杜小勇教授編寫了《數據庫系統概論（第6版）》、《大數據管理》、《數據科學與大數據技術導論》等教材。《數據庫系統概論》作為國內經典的數據庫教材，累計發行超過350萬冊，受到廣大教師和學生的歡迎。《數據科學與大數據技術導論》是為高校數據科學導論課程編寫的教材，旨在介紹大數據相關的概念、理論、術語與基礎技術，並培養學生使用開源工具進行數據分析的能力。

第1章 數據科學概論
1.1 數據：數字時代的“新石油”
1.1.1 大數據的提出與發展
1.1.2 大數據帶來的深刻變革
1.2 數據思維：數據科學的核心素養
1.2.1 科學研究的“第四範式”
1.2.2 數據思維賦能千行百業
1.2.3 數據驅動的社會科學
1.3 以數據為中心的問題求解：數據科學的核心能力
1.3.1 提出問題
1.3.2 準備數據
1.3.3 分析數據
1.3.4 呈現結果
1.4 數據科學與數據科學家
1.5 “數據科學導論”課程的內容體系與教學目標
習題
第2章 Python入門
2.1 Python概述
2.2 開發環境配置
2.3 變量、常量、註釋
2.4 基本數據類型
2.5 內置數據類型
2.6 運算符與表達式
2.7 程序的基本結構：順序結構、分支結構與循環結構
2.8 完整的程序實例：數據結構與算法
2.8.1 冒泡排序
2.8.2 二分查找
2.9 函數、遞歸與庫函數
2.9.1 函數的定義
2.9.2 n的階乘
2.9.3 漢諾塔
2.9.4 庫函數
2.10 面向對象編程
2.10.1 封裝
2.10.2 構造函數
2.10.3 對象銷毀與垃圾回收
2.10.4 繼承
2.10.5 重寫
2.11 異常處理
2.12 主要Python庫簡介
2.12.1 pandas庫
2.12.2 NumPy庫
2.12.3 scikit-learn庫
2.12.4 Keras&TensorFlow庫
2.12.5 Matplotlib庫
2.12.6 NetworkX庫
2.12.7 NLTK庫
習題
第3章 表格數據分析
3.1 多樣化的數據
3.1.1 現實中的不同數據
3.1.2 數據模型
3.1.3 數據分類
3.1.4 不同數據處理工具的對比
3.2 多維數組分析工具：NumPy
3.2.1 多維數組
3.2.2 NumPy簡介
3.2.3 多維數組的創建和運算
3.2.4 數據切片
3.3 表格數據分析工具：pandas
3.3.1 表格數據
3.3.2 pandas簡介
3.3.3 pandas的數據結構
3.3.4 Series對象的創建與訪問
3.3.5 DataFrame對象的創建
3.3.6 DataFrame的基本操作
3.3.7 條件篩選
3.3.8 插入、更新與刪除操作
3.3.9 數據分組與數據透視表
3.4 關系數據模型和SQL基礎
3.4.1 關系數據模型
3.4.2 關系操作
3.4.3 SQL簡介
3.4.4 SELECT語句的一般形式
3.4.5 單表查詢
3.4.6 使用SQLite查詢表格數據
習題
第4章 數據整理
4.1 數據采集
4.1.1 數據采集的重要因素
4.1.2 推-拉機制
4.1.3 發布-訂閱機制
4.1.4 大數據收集系統
4.1.5 自定義連接器
4.2 信息抽取
4.2.1 信息抽取概述
4.2.2 半結構化數據和非結構化數據
4.2.3 信息抽取的關鍵技術
4.3 數據清洗
4.3.1 數據清洗的定義與對象
4.3.2 數據清洗原理與實現
4.3.3 數據清洗與檢測方法
4.4 數據集成
4.4.1 數據集成概述
4.4.2 數據集成方法
4.4.3 數據集成的數據源異構問題
習題
第5章 數據可視化
5.1 數據可視化概述
5.1.1 數據可視化的定義
5.1.2 數據可視化的目標與作用
5.1.3 數據可視化的分類
5.2 可視化發展歷程
5.2.1 早期數據可視化的起源（17-19世紀）
5.2.2 20世紀的可視化技術與突破
5.2.3 大數據時代的可視化發展
5.3 數據可視化的基本原則
5.3.1 表達性原則
5.3.2 有效性原則
5.4 現有數據可視化工具
5.4.1 商業工具
5.4.2 開源工具
習題
第6章 數據分析
6.1 人工智能、機器學習和深度學習
6.1.1 人工智能
6.1.2 機器學習
6.1.3 深度學習
6.2 機器學習的業務流程
6.3 機器學習的分類：監督學習、無監督學習與強化學習
6.4 機器學習的基本要素
6.4.1 常數模型+MSE損失函數
6.4.2 常數模型+MAE損失函數
6.5 分類
6.5.1 KNN算法
6.5.2 決策樹算法
6.5.3 分類算法的評價指標
6.6 回歸
6.6.1 一元線性回歸
6.6.2 多元線性回歸
6.6.3 多元線性回歸的解析解
6.6.4 多元線性回歸的梯度下降算法求解
6.6.5 多元線性回歸的評價：MSE、RMSE和擬合優度
6.7 聚類
6.7.1 k-means算法
6.7.2 高斯混合模型
6.7.3 聚類算法的評價
習題
第7章 文本分析
7.1 文本分析的背景和意義
7.2 以詞頻為中心的文本向量編碼
7.2.1 獨熱編碼
7.2.2 詞袋模型與n-gram模型
7.2.3 TF-IDF編碼
7.3 以詞相關性為中心的文本向量編碼
7.3.1 潛在語義分析
7.3.2 基於詞嵌入的文本表示
7.4 分詞算法
7.4.1 BPE算法
7.4.2 WordPiece算法
7.5 實際應用
7.5.1 基於樸素貝葉斯的垃圾郵件分類
7.5.2 基於線性模型的情感分析
7.5