數據分析與Python大數據處理

安俊秀，主要研究方向為大數據分析與挖掘、現為成都信息工程大工智能等。學並行計算與大數據研究所負責人，軟件自動生成與智能服務四川省重點實驗室學術帶頭，蘇蔣合總貂滑査軲聚合效握存!)行在、突霸轟據的程序流植刑高效處理。

項目一 數據分析基礎知識 5 任務1.1 數據分析概述 11 1.1.1 數據分析的基本概念 11 1.1.2 數據分析流程 12 1.1.3 數據分析應用場景 14 任務1.2 大數據分析概述 16 1.2.1 大數據的定義與發展 20 1.2.2 大數據的應用場景 23 1.2.3 大數據分析面臨的挑戰 25 習題 27 項目二 Python開發環境的搭建及編程基礎知識 35 任務2.1 搭建Python開發環境 33 任務2.2 Python編程簡介 33 任務2.3 Python編程相關概念 33 2.3.1 數據結構 37 2.3.2 程序流程控制語句 41 2.3.3 函數 51 2.3.4 面向對象編程 54 2.3.5 文件 57 習題 73 項目三 使用Excel進行數據分析 78 任務3.1 數據導入和準備 78 3.1.1 導入數據文件 81 3.1.2 數據清洗和格式化 81 3.1.3 數據篩選和排序 82 任務3.2 數據分析與統計 81 3.2.1 排序、篩選與分類匯總 84 3.2.2 函數 93 3.2.3 透視表與透視圖 96 3.2.4 數據可視化 101 實訓 使用Excel分析銷售報表 100 習題 102 項目四 使用MySQL進行數據分析 106 任務4.1 數據庫基礎 106 4.1.1 數據庫的基本概念 109 4.1.2 MySQL的安裝和配置 112 4.1.3 表結構和DDL語句 115 4.1.4 數據類型及 DML語句 119 任務4.2 數據庫查詢與數據分析 122 4.2.1 基本查詢 122 4.2.2 分組查詢 125 4.2.3 連接查詢 127 4.2.4 排序與限制 128 4.2.5 數據分析函數 130 任務4.3 使用MySQL分析用戶購物行為 137 實訓一 制作對MySQL的分析報告 137 實訓二 使用MySQL進行銷售數據分析 138 習題 139 項目五 Python數據分析技術 146 任務5.1 Python相關準備工作 146 5.1.1 Python數據分析的優勢 146 5.1.2 數據分析常用庫 152 任務5.2 使用NumPy進行數值計算 157 5.2.1 創建與操作數組 157 5.2.2 數組的基本運算 159 5.2.3 常用的數學函數和統計函數 161 5.2.4 線性代數計算 165 任務5.3 使用pandas進行數據處理與分析 167 5.3.1 構造序列與數據框 168 5.3.2 讀取與保存數據 171 5.3.3 數據類型及描述統計 173 5.3.4 數據清洗方法 175 5.3.5 透視表 178 5.3.6 表的合並與連接 181 5.3.7 運用分組與聚合 184 實訓一 使用NumPy計算數據表 184 實訓二 使用pandas處理數據 186 項目六 大數據分析與挖掘 193 任務6.1 數據處理 193 6.1.1 數據預處理 196 6.1.2 正則表達式 198 6.1.3 中文自然語言處理基礎 199 6.1.4 文本分詞 200 6.1.5 去停用詞 201 6.1.6 詞性標註 202 6.1.7 命名實體識別 203 6.1.8 文本特征計算 204 6.1.9 文本特征標準化 204 6.1.10 網絡在線語料庫獲取 206 任務6.2 模型構建 204 6.2.1 分類與回歸算法原理與實現 207 6.2.2 聚類算法原理與實現 209 6.2.3 關聯規則的算法原理與實現 210 6.2.4 智能推薦、時序模式算法原理與實現 212 6.2.5 使用Python實現文本分類 216 6.2.6 使用Python實現文本聚類 218 任務6.3 模型優化與部署 222 6.3.1 模型評價 223 6.3.2 模型優化 225 6.3.3 模型部署 227 實訓一 使用Python進行文本數據分析 228 實訓二 使用Python實現情感分析 229 習題 230 項目七 數據分析報表與數據可視化 235 任務7.1 數據報表基礎知識 239 7.1.1 數據報表的概念 238 7.1.2 數據報表的必要元素 238 7.1.3 數據可視化的概念 239 7.1.4 數據可視化工具 240 任務7.2 Power BI基礎知識 241 7.2.1 數據獲取 241 7.2.2 數據集成 242 7.2.3 數據清洗 244 7.2.4 數據規約 244 7.2.5 數據變換 245 7.2.6 使用DAX語言進行數據建模 246 任務7.3 Power BI數據可視化 252 7.3.1 數據可視化概念 252 7.3.2 對比分析——條形圖、柱形圖、雷達圖、漏鬥圖 253 7.3.3 結構分析——餅圖、環形圖、瀑布圖、樹狀圖 255 7.3.4 相關分析——散點圖、折線圖 258 7.3.5 描述性分析——表、箱線圖 260 7.3.6 KPI分析——儀表、KPI Indicator、子彈圖 262 任務7.4 Power BI數據分析報表 265 7.4.1 數據分析報表的基本概念 266 7.4.2 數據分析報表的背景與目的 266 7.4.3 制作數據分析報表 267 7.4.4 部署數據分析報表 268 實訓一 使用Power BI制作數據分析報表 267 實訓二 制作對Power BI的分析報告 270 習題 272