大數據存儲技術

黃家麒，男，副教授，高級工程師，高級技師。從事大數據技術領域教學與實踐多年，先後擔任《Hadoop基礎與實踐》、《大數據存儲技術》、《大數據運維》、《虛擬化技術與數據安全》等專業課程的教學工作，教學經驗豐富。擁有數字政府數字企業一線技術開發與管理經驗，參與多項省級教改項目，主持多項市廳級科研項目，成果紮實。在技術與教育結合方面積累了深厚的實踐基礎。此外，擔任浙江省政府采購專家、溫州市黨政機關信息化項目專家以及溫州市網絡與數據安全專家等社會職務。

項目準備 1

項目描述 1

學習目標 1

任務1　零售數據存儲與分析—

分布式大數據平臺部署實戰 3

1.1 任務描述 3

1.2 任務實施 4

1.2.1 工單1.1：分布式集群規劃 4

1.2.2 工單1.2：虛擬機的環境配置 5

1.2.3 工單1.3：Linux操作系統的安裝與配置 8

1.2.4　工單1.4：Hadoop的安裝與配置 16

1.2.5 工單1.5：ZooKeeper的安裝與配置 43

1.2.6 工單1.6：HDFS零售數據存儲應用 49

1.3 知識鏈接 52

1.3.1 大數據技術概述 52

1.3.2 大數據存儲介紹 55

1.3.3 Hadoop概述 58

1.3.4 Hadoop框架 59

1.3.5 分布式協調服務ZooKeeper 62

1.4 任務總結 62

1.5 課後練習 63

任務２　零售數據存儲與分析—Hive實戰 65

2.1 任務描述 65

2.2 任務實施 65

2.2.1 工單2.1：Hive軟件部署 65

2.2.2 工單2.2：Hive數據庫和數據表的常用操作 72

2.2.3 工單2.3：Sqoop軟件安裝與配置 75

2.2.4 工單2.4：Hive零售數據分析 80

2.3 知識鏈接 86

2.3.1 Hive數據倉庫工具 86

2.3.2 Sqoop數據同步工具 93

2.4 任務總結 94

2.5 課後練習 95

任務３　零售數據存儲與分析—HBase實戰 97

3.1 任務描述 97

3.2 任務實施 97

3.2.1 工單3.1：HBase軟件安裝配置 97

3.2.2 工單3.2：HBase零售數據存儲 104

3.2.3 工單3.3：Sqoop零售數據導入 108

3.2.4 工單3.4：Hbase的常見操作 113

3.2.5 工單3.5：HBase零售數據讀取 115

3.3 知識鏈接 116

3.3.1 分布式數據庫HBase 116

3.3.2 Sqoop數據導入與導出 125

3.4 任務總結 126

3.5 課後練習 127

任務４　零售數據存儲與分析—Redis實戰 128

4.1 任務描述 128

4.2 任務實施 128

4.2.1 工單4.1：Redis的安裝與配置 128

4.2.2 工單4.2：Redis零售數據存儲 134

4.2.3 工單4.3：Redis零售數據緩存 142

4.3 知識鏈接 145

4.3.1 Redis介紹 145

4.3.2 Redis的基礎命令 147

4.3.3 Redis的數據類型 149

4.4 任務總結 152

4.5 課後練習 152

任務５　零售數據存儲與分析—Elasticsearch實戰 154

5.1 任務描述 154

5.2 任務實施 154

5.2.1 工單5.1：Elasticsearch集群部署 154

5.2.2 工單5.2：Elasticsearch客戶端操作應用 160

5.2.3 工單5.3：Elasticsearch零售數據的查詢 178

5.3 知識鏈接 181

5.3.1 全文索引與Elasticsearch 181

5.3.2 Elasticsearch的常用術語及概念 183

5.3.3 Elasticsearch API 186

5.4 任務總結 188

5.5 課後練習 189

附錄 191