金倉數據庫KingbaseES異構平替

杜勝，中電科金倉（北京）科技股份有限公司總裁。全面主持電科金倉公司經營管理工作，主導公司數據庫產品的重大創新及多個重點項目的應用落地。擁有豐富的理論和實踐經驗，目前為北京科技大學兼職碩士生導師。

目錄

 

 

第1章異構數據庫平替1

1.1背景與痛點1

1.2金倉數據庫產品體系2

1.2.1金倉產品家族2

1.2.2金倉數據庫管理系統(KES)4

1.2.3金倉數據庫集群6

1.2.4金倉數據庫一體機10

1.2.5金倉數據庫工具系列13

1.3金倉數據庫產品解決方案17

1.3.1數據庫應用遷移方案17

1.3.2可用性與容災方案21

1.3.3多租戶方案25

1.3.4數據庫上雲方案27

1.4本書實驗環境28

 

第2章數據庫平替全生命周期管理29

2.1概述29

2.2系統評估與分析31

2.2.1系統評估方法與工具31

2.2.2系統評估流程32

2.3系統選型32

2.3.1硬件資源配比選型32

2.3.2數據庫服務器選型36

2.3.3數據庫架構選型37

2.3.4數據庫選型40

2.3.5數據庫替代選型實踐41

2.4數據庫安裝部署43

2.4.1環境規範43

2.4.2數據庫安裝部署規範44

2.4.3卸載規範45

2.5應用適配45

2.5.1應用遷移46

2.5.2測試驗證46

2.6系統割接48

2.6.1系統割接準備48

2.6.2進行系統割接49

2.6.3割接後觀察49

2.7系統運維50

2.7.1數據庫管理員的主要職責50

2.7.2數據庫管理員的日常管理工作50

2.7.3數據庫安全管理51

2.7.4日誌及監控審計53

2.7.5備份與恢復53

 

第3章數據庫應用適配56

3.1金倉數據庫應用開發基礎56

3.1.1金倉數據庫體系結構56

3.1.2金倉數據庫的邏輯結構57

3.1.3訪問金倉數據庫59

3.1.4命令行工具ksql59

3.1.5圖形化數據庫開發管理工具KStudio62

3.2服務器端代碼遷移63

3.3客戶端代碼遷移64

 

第4章數據庫遷移評估工具KDMS68

4.1概述68

4.2安裝部署69

4.2.1安裝KDMS69

4.2.2KDMS的啟動和關閉71

4.3數據庫對象的采集與評估72

4.3.1數據庫對象采集72

4.3.2數據庫對象評估75

4.4歷史SQL語句的采集與評估77

4.5應用中SQL語句的采集與評估80

 

第5章數據遷移工具KDTS83

5.1概述83

5.2安裝部署85

5.3KDTS的使用流程88

5.3.1訪問KDTS88

5.3.2數據源管理89

5.3.3遷移任務管理92

5.3.4查看遷移日誌和報告97

5.3.5設置遷移對象98

5.4KDTS的遷移配置105

5.4.1遷移相關配置106

5.4.2性能相關的配置109

 

第6章數據庫負載測試工具KReplay113

6.1概述113

6.2KReplay架構與原理115

6.2.1KReplay的工作流程115

6.2.2工作負載的捕獲116

6.2.3工作負載的轉換119

6.2.4工作負載的重放120

6.2.5典型實施過程133

6.3KReplay工作負載重放實踐134

6.3.1準備實驗環境134

6.3.2源端捕獲工作負載137

6.3.3轉換工作負載文件140

6.3.4工作負載文件的預處理141

6.3.5重放工作負載142

 

第7章數據同步工具KFS147

7.1概述147

7.2KFS的系統架構148

7.2.1KFS的組件148

7.2.2KFS的安裝包150

7.3KFS可行性評估150

7.3.1評估時的關註點151

7.3.2評估工具156

7.4KFS同步程序的安裝部署159

7.4.1安裝前的準備工作159

7.4.2源端同步程序安裝161

7.4.3目標端同步程序安裝167

7.5KFS數據同步的基本管理169

7.5.1數據同步的啟動169

7.5.2數據同步的狀態查詢170

7.5.3數據同步的關閉172

7.5.4修改配置文件173

7.6KFS數據同步的工作原理174

7.6.1KFS的系統表174

7.6.2KFS的數據同步運行流程175

7.6.3KFS的斷點續傳176

7.6.4KFS的運行環境清理179

7.7KFS故障診斷與處理181

7.7.1故障的定位181

7.7.2錯誤處理策略配置187

7.7.3沖突處理策略配置193

7.7.4數據同步的高可用配置199

7.8KFS的過濾器202

7.8.1過濾器202

7.8.2DDL語句的過濾器202

7.8.3DML語句的過濾器204

7.8.4數據轉換的過濾器207

7.8.5過濾器的組合方式209

7.9KFS數據同步性能優化214

7.9.1性能問題診斷215

7.9.2源端數據解析性能調優216

7.9.3目標端數據入庫性能調優218

7.10KFS Web管控平臺220

7.10.1管控平臺的安裝部署220

7.10.2管控平臺的功能模塊226

7.11KFS數據校驗與修復228

7.11.1數據校驗與修復概況228

7.11.2數據校驗功能229

7.11.3數據修復功能232

7.11.4數據校驗與修復實踐233

 

第8章不停機遷移與雙軌運行方案246

8.1方案概述及基本原理246

8.2方案設計249

8.2.1方案拓撲與資源設計249

8.2.2存量數據遷移設計250

8.2.3數據同步策略的設計255

8.2.4數據校驗與修復設計258

8.3方案部署與運行258

8.4方案運行實踐264

8.4.1實驗環境說明264

8.4.2搭建模擬數據庫應用264

8.4.3部署雙軌運行方案269

8.4.4驗證不停機遷移與雙軌運行方案277

 

第9章MySQL數據庫國產化平替實踐289

9.1概述289

9.2客戶端應用的運行與適配290

9.3KFS同步程序的安裝與部署294

9.3.1安裝前的準備工作294

9.3.2源端同步程序安裝296

9.3.3目標端同步程序安裝300

9.4KFS雙軌運行方案部署302

9.5不停機遷移與雙軌運行方案308

 

第10章SQL Server數據庫國產化平替實踐315

10.1概述315

10.2客戶端應用的運行與適配315

10.3KFS同步程序的安裝與部署319

10.3.1安裝前的準備工作319

10.3.2源端同步程序安裝319

10.3.3目標端同步程序安裝325

10.4KFS雙軌運行方案部署329

10.5不停機遷移與雙軌運行方案334

 

參考文獻342