數據分析與可視化 (基於AWS雲平臺)(微課版)

薛國偉，高級工程師，博士後。在哈爾濱工業大學獲得學士、碩士、博士學位。深圳市後備級領軍人才、深圳市科創委項目評審專家、深圳技師學院通信網絡應用專業顧問委員會委員、深圳信息職業技術學院軟件學院骨乾教師。從事軟件技術、大數據處理和人工智能方面的研究和教育工作，發表學術論文7篇，獲授權發明專利2項，出版“十三五”職業教育國家規劃教材一部。

項目一　搭建AWS數據分析開發環境　1

1.1　情境描述　1

1.2　任務分析　1

1.3　雲計算及AWS基礎　2

1.3.1　雲計算概述　2

1.3.2　雲計算的類型　3

1.3.3　AWS概述　4

1.3.4　AWS雲平臺概述　6

1.3.5　Jupyter Notebook簡介　10

1.4　安裝並配置AWS數據分析及可視化開發環境　11

1.4.1　登錄AWS中國區管理控制臺　11

1.4.2　創建並配置Amazon EC2實例　13

1.4.3　使用SSH客戶端遠程登錄Amazon EC2實例　17

1.4.4　安裝Notebook開發環境　18

1.4.5　使用Notebook完成函數曲線的可視化　23

1.4.6　使用conda安裝包　25

1.4.7　為Amazon EC2實例創建更多用戶　30

1.5　課後練習　31

項目二　在數據分析中使用Amazon S3存儲桶　33

2.1　情境描述　33

2.2　任務分析　33

2.3　Amazon S3存儲桶基礎　34

2.3.1　Amazon S3概述　34

2.3.2　Amazon S3的特點　34

2.3.3　Amazon S3的核心概念和技術　34

2.3.4　Amazon S3的功能　35

2.4　通過AWS管理控制臺使用Amazon S3存儲桶　36

2.4.1　創建存儲桶　37

2.4.2　向存儲桶中添加對象　40

2.4.3　從存儲桶中下載對象　44

2.4.4　在存儲桶中復制對象　45

2.4.5　刪除對象和清空存儲桶　47

2.4.6　刪除存儲桶　49

2.5　使用Python語言操作Amazon S3存儲桶對象　50

2.5.1　boto簡介　50

2.5.2　安裝並配置boto　50

2.5.3　創建可以匿名訪問的存儲桶　52

2.5.4　可視化Amazon S3存儲桶中的數據　57

2.5.5　在同一幅圖上繪制多條曲線　58

2.6　課後練習　60

項目三　使用Flask框架設計網站並進行數據分析　61

3.1　情境描述　61

3.2　任務分析　61

3.3　Flask基礎　62

3.3.1　Flask的設計思路　62

3.3.2　Flask開發基礎　65

3.3.3　路由　66

3.3.4　靜態文件　69

3.3.5　渲染模板　70

3.4　配置並使用Flask開發基礎　71

3.4.1　配置Flask開發環境　71

3.4.2　使用Flask設計“hello world”頁面　74

3.4.3　在虛環境中使用Flask　76

3.5　班級成績錄入分析系統　78

3.5.1　建立工作文件夾和虛環境　78

3.5.2　添加應用工廠函數　79

3.5.3　操作SQLite數據庫　79

3.5.4　設計用戶賬戶管理功能　83

3.5.5　設計成績錄入分析功能　91

3.5.6　保存用戶登錄狀態功能及用戶註銷功能　94

3.5.7　設計成績分析功能　103

3.6　課後練習　105

項目四　在Notebook中進行數據分析及可視化　107

4.1　情境描述　107

4.2　任務分析　107

4.3　pandas基礎　107

4.3.1　pandas介紹　107

4.3.2　pandas的Series對象　108

4.3.3　pandas的DataFrame對象　113

4.3.4　使用pandas的方法讀寫文件　119

4.4　pyecharts基礎　122

4.4.1　pyecharts簡介　122

4.4.2　內置的圖表類型　123

4.4.3　全局配置項　123

4.4.4　系列配置項　125

4.5　使用pyecharts內置圖表進行數據可視化　127

4.5.1　將溫度數據用折線圖進行可視化　127

4.5.2　將不同品牌銷售數據用餅圖進行可視化　134

4.5.3　將文本的詞頻統計結果用詞雲圖進行可視化　139

4.6　課後練習　146

項目五　Web應用程序的數據可視化　148

5.1　情境描述　148

5.2　任務分析　148

5.3　numpy基礎　149

5.3.1　numpy簡介　149

5.3.2　使用numpy數組對象　149

5.3.3　使用numpy的方法讀寫文件　163

5.4　ECharts基礎　167

5.4.1　ECharts簡介　167

5.4.2　ECharts中的名詞和概念　168

5.4.3　ECharts中的樣式　169

5.4.4　異步數據加載和更新　170

5.4.5　ECharts中的事件和行為　170

5.5　在Flask中使用ECharts進行數據可視化　171

5.5.1　使用Flask設計可視化網站　171

5.5.2　將考試成績用柱狀圖進行可視化　172

5.5.3　將考試成績用餅圖進行可視化　176

5.5.4　將考試成績用散點圖進行可視化　182

5.6　課後練習　187

項目六　航空數據分析及可視化　191

6.1　情境描述　191

6.2　任務分析　191

6.3　數據分析技術基礎　192

6.3.1　數據分析技術簡介　192

6.3.2　數據分析常用的數據文件格式　192

6.3.3　數據分析技術中常用的統計量　193

6.4　在Notebook中開發航空數據分析及可視化程序　195

6.4.1　從存儲在Amazon S3存儲桶中的ZIP文件中讀取航班數據　195

6.4.2　分析並可視化一段時間內進出港最繁忙的機場　200

6.4.3　統計並可視化一段時間內若乾國家的航班　211

6.4.4　分析並可視化我國城市航班排名　217

6.5　課後練習　222