人工智能通識基礎（數據分析與可視化）

目錄

第1章智能計算與大數據

基礎 11.1人工智能概述1

1.1.1人工智能的誕生

和發展1

1.1.2人工智能的主要

學派3

1.1.3智能計算系統4

1.2大模型及AIGC技術的

應用5

1.2.1大模型的結構和

分類5

1.2.2AIGC技術的興

起與全球發展

態勢7

1.2.3提示詞工程與上下

文工程8

1.2.4面臨的挑戰與倫

理問題9

1.2.5大模型的應用

實踐9

1.3基於大模型的智能體 …10

1.3.1智能體架構11

1.3.2智能體與RAG

技術11

1.3.3智能體搭建12

1.3.4代表性智能體系統

與其發展趨勢 …13

1.4大數據的基本概念14

1.4.1大數據的定義 …15

1.4.2大數據的特點 …15

1.4.3大數據的研究

目標17

1.5大數據支撐技術19

1.5.1統計學簡介19

1.5.2機器學習簡介 …19

1.5.3數據可視化

簡介20

1.5.4大數據分析與

計算工具21

1.5.5數據資源簡介 …23

1.6人工智能和大數據的

關系24

1.6.1數據驅動的人工

智能24

1.6.2智能賦能的大

數據處理24

1.6.3協同進化與未來

趨勢25

1.7數據交易和數據治理 …25

1.7.1數據要素化與

數據市場25

1.7.2數據治理框架

與核心領域26

1.7.3數據倫理與

法規26

1.8信息論簡介27

1.8.1信息的度量和

信息熵27

1.8.2信息的編碼31

1.8.3信息的有效性和

哈夫曼編碼32

1.8.4信息的冗余和壓縮35

1.8.5信息的相關性38

1.8.6貝葉斯公式與因果

關系39

習題與實踐43

1.9綜合練習44

1.9.1選擇題44

1.9.2填空題46

1.9.3綜合實踐46

綜合練習參考答案47

第2章數據獲取與數據加工48

2.1數據獲取與加工概述48

2.1.1數據獲取的來源48

2.1.2數據獲取的方法49

2.1.3數據源文件格式和數據

類型50

2.1.4數據預處理51

2.2常用數據集的獲取53

2.2.1常用的數據集53

2.2.2使用Python的sklearn

提供的數據集54

2.3網頁信息抓取54

2.3.1網絡爬蟲概述54

2.3.2HTTP基本原理54

2.3.3網頁的基本結構57

2.3.4 Python相關庫61

2.3.5使用requests和re庫

抓取貓眼電影TOP 100

榜單66

2.3.6使用requests和bs4庫

抓取豆瓣電影TOP 250

榜單69

2.3.7使用“八爪魚采集器”

抓取網頁信息72

2.4使用調查問卷收集信息77

2.4.1借助大語言模型設計

調查問卷77

2.4.2使用“問卷星”發布和收集

調查問卷的信息77

2.5數據清洗78

2.5.1數據清洗的目的78

2.5.2數據清洗的方法79

2.5.3基於工具的數據清洗 …81

2.6數據轉換83

2.6.1數據轉換的目的83

2.6.2數據轉換的方法83

2.6.3基於工具的快速轉換 …85

2.7數據脫敏87

2.7.1數據的敏感信息87

2.7.2保護數據的方法88

2.7.3基於工具實現數據

脫敏89

2.8數據集成91

2.8.1數據集成的基本類型 …91

2.8.2數據集成的難點93

2.8.3簡單數據集成的實現 …93

2.9數據歸約96

2.9.1數據歸約概述96

2.9.2歸約策略簡介97

2.10綜合練習97

2.10.1選擇題97

2.10.2填空題98

2.10.3綜合實踐99

綜合練習參考答案99

第3章數據庫應用基礎100

3.1數據庫技術基礎100

3.1.1數據與數據管理100

3.1.2數據庫與數據庫系統…101

3.1.3數據模型104

3.1.4數據庫技術的發展 …108

3.1.5習題與實踐109

3.2數據表110

3.2.1關系模型的定義110

3.2.2關系運算113

3.2.3Access簡介117

3.2.4表和關系的創建119

3.2.5記錄的輸入和編輯131

3.2.6表結構的修改133

3.2.7規範化設計方法134

3.2.8習題與實踐138

3.3數據庫設計138

3.3.1數據庫設計過程138

3.3.2ER模型向關系模式

的轉換139

3.3.3習題與實踐142

3.4數據查詢143

3.4.1SQL概述143

3.4.2SQL數據定義145

3.4.3SQL數據查詢148

3.4.4SQL數據更新157

3.4.5其他SQL功能160

3.4.6習題與實踐161

3.5Excel和Access的連接166

3.6綜合練習167

3.6.1選擇題167

3.6.2填空題168

3.6.3綜合實踐168

綜合練習參考答案168

第4章數據處理與分析169

4.1數據分析基礎169

4.1.1認識數據類型169

4.1.2公式的組成173

4.1.3數據驗證與公式審核…177

4.1.4內置工作表函數179

4.1.5數據的輸出與顯示196

4.2描述性統計分析198

4.2.1集中趨勢度量198

4.2.2離散程度度量199

4.2.3分布形態分析200

4.3排序、篩選、分類匯總和數據

透視表201

4.3.1排序201

4.3.2篩選203

4.3.3分類匯總204

4.3.4數據透視表206

4.4單變量求解、模擬運算表和

規劃求解207

4.4.1Excel加載項與數據

分析工具207

4.4.2模擬運算表208

4.4.3單變量求解211

4.4.4規劃求解212

4.5時間序列數據分析214

4.5.1時序數據概述215

4.5.2時序數據的分析方法…215

4.5.3時序數據分析的實例…217

4.6綜合練習222

4.6.1選擇題222

4.6.2填空題223

4.6.3是非題223

綜合練習參考答案223

第5章基於人工智能的數據分析 …224

5.1機器學習概述224

5.2機器學習算法的分類225

5.2.1監督學習225

5.2.2無監督學習226

5.2.3強化學習226

5.2.4常見的機器學習算法…226

5.3數據集及算法評價227

5.3.1數據集227

5.3.2泛化能力與評價指標…227

5.4AI輔助編程229

5.5回歸分析230

5.5.1一元線性回歸231

5.5.2一元多項式回歸233

5.5.3多元回歸234

5.6分類分析237

5.6.1決策樹237

5.6.2支持向量機240

5.6.3K近鄰242

5.6.4樸素貝葉斯245

5.7聚類分析247

5.7.1KMeans算法的

原理248

5.7.2案例實踐與性能評估…248

5.7.3聚類算法的性能評估…254

5.8集成學習與主成分分析255

5.8.1集成學習255

5.8.2主成分分析256

5.9神經網絡和深度學習258

5.9.1神經網絡258

5.9.2深度學習261

5.9.3深度神經網絡的構建

案例263

5.10綜合練習266

5.10.1單選題266

5.10.2填空題267

5.10.3判斷題267

綜合練習參考答案268

第6章數據可視化269

6.1數據可視化的基礎269

6.1.1數據可視化的概念269

6.1.2數據可視化的過程270

6.1.3數據可視化的類型271

6.1.4數據可視化的設計

原則272

6.1.5數據可視化工具273

6.2Excel數據可視化273

6.2.1Excel圖表的創建和

編輯274

6.2.2Excel常見的圖表類型

及其應用275

6.3Tableau數據可視化285

6.3.1Tableau Public簡介 …286

6.3.2基礎圖表制作291

6.3.3復雜需求可視化297

6.3.4儀表板320

6.4FineBI數據可視化324

6.4.1FineBI基礎324

6.4.2可視化組件330

6.4.3儀表板333

6.4.4分析文檔337

6.4.5全唐詩可視化分析339

6.5數據分享與安全348

6.5.1數據分享348

6.5.2數據安全349

6.5.3數據分享平臺的安全

措施349

6.5.4數據安全意識的培養…350

6.6綜合練習350

6.6.1選擇題350

6.6.2填空題352

6.6.3綜合實踐352

綜合練習參考答案357

第7章數據分析與可視化綜合

實踐3587.1奧運數據可視化分析358

7.1.1數據準備359

7.1.2可視化分析359

7.2中國城市綠地數據可視化

分析370

7.2.1數據準備370

7.2.2可視化分析370

7.2.3故事講述377

7.3綜合練習379