對象存儲實戰指南

羅慶超
阿裡巴巴資深技術專家，阿裡雲對象存儲負責人，在企業存儲和雲存儲領域有豐富的技術與產品經驗。
曾就職於世界500強以及知名跨國公司的存儲團隊，負責過高端存儲陣列的數據路徑架構設計和開發，作為海量存儲首席架構師負責文件存儲、對象存儲以及下一代分佈式雲存儲的架構設計和實現，同時在災備以及數據管理領域亦有多年開發和運維經驗。
所帶領團隊研發的技術，多次在大規模商業項目中成功落地。畢業於電子科技大學計算機系統架構專業，並獲得碩士學位，在相關技術研究領域，支持並參與多本行業專業書籍的編寫工作，被授予包括塊存儲、文件存儲、對象存儲、數據湖等方向的20多項發明專利，技術成果成功應用到產品創新疊代。

第一篇 基礎與原理 
第1章 對象存儲概述 2 
1.1 什麼是對象存儲 2 
1.1.1 存儲發展歷史 2 
1.1.2 塊存儲 4 
1.1.3 文件存儲 5 
1.1.4 對象存儲 5 
1.2 存儲技術對比分析 6 
1.3 存儲技術架構 8 
1.3.1 存儲區域網絡架構 8 
1.3.2 網絡附加存儲架構 9 
1.3.3 對象存儲架構 10 
1.4 公共雲對象存儲服務實現架構 11 
1.4.1 基於分佈式文件系統構建 11 
1.4.2 基於本地鍵值存儲構建 12 
1.5 公共雲對象存儲服務的關鍵能力 12 
1.5.1 安全性 13 
1.5.2 高可靠 13 
1.5.3 高可用 13 
1.5.4 擴展性 14 
1.5.5 性價比 14 
1.6 小結 14 

第2章 協調和復制 15 
2.1 協調 15 
2.1.1 協調技術發展史 15 
2.1.2 兩將軍問題 20 
2.1.3 拜占庭將軍問題 21 
2.1.4 原子廣播 22 
2.1.5 視圖復制 23 
2.1.6 PAXOS 24 
2.1.7 RAFT 26 
2.1.8 協調達成共識算法分析 27 
2.1.9 對象存儲服務的共識應用 29 
2.2 復制 30 
2.2.1 數據冗餘技術 30 
2.2.2 復制一致性 32 
2.2.3 復制協議 35 
2.2.4 存儲領域的復制技術應用 37 
2.3 小結 39 

第3章 命名和同步 40 
3.1 命名技術 40 
3.1.1 命名方式 40 
3.1.2 命名分類 47 
3.1.3 對象存儲命名應用 49 
3.2 物理時鐘同步 53 
3.2.1 物理時鐘同步技術 53 
3.2.2 對象存儲物理時鐘同步應用 55 
3.3 邏輯時鐘 56 
3.3.1 邏輯時鐘技術 56 
3.3.2 對象存儲邏輯時鐘應用 59 
3.4 小結 60 

第4章 容錯和數據完整性 61 
4.1 容錯 62 
4.1.1 典型故障場景 62 
4.1.2 故障模式 66 
4.1.3 故障檢測和分析 67 
4.1.4 故障容錯效果 71 
4.1.5 分佈式提交技術 72 
4.1.6 日誌恢復技術 74 
4.1.7 對象存儲容錯 75 
4.2 數據完整性 76 
4.2.1 數據損壞源頭 77 
4.2.2 數據損壞類型 77 
4.2.3 數據損壞發生時刻 78 
4.2.4 數據損壞檢測方法 78 
4.2.5 數據損壞檢測算法 78 
4.2.6 數據損壞修復技術 79 
4.2.7 對象存儲數據損壞 79 
4.3 小結 80 

第5章 元數據索引設計 82 
5.1 對象存儲元數據需求分析 83 
5.1.1 業界NoSQL分析 86 
5.1.2 採用NoSQL領域的鍵值存儲技術 89 
5.2 鍵值存儲原理 89 
5.2.1 基於B樹的鍵值存儲 89 
5.2.2 基於LSM-Tree的鍵值存儲 92 
5.2.3 鍵值存儲佈局 94 
5.3 分佈式鍵值存儲實現 95 
5.3.1 基於單機鍵值存儲構建分佈式鍵值系統 95 
5.3.2 基於分佈式文件系統構建分佈式鍵值系統 96 
5.4 對象存儲元數據 97 
5.4.1 基於分佈式數據庫構建元數據 97 
5.4.2 基於分佈式鍵值存儲構建元數據 97 
5.5 小結 97 

第二篇 操作和使用 
第6章 快速上手 100 
6.1 快速使用公共雲對象存儲服務 100 
6.2 基本概念 100 
6.2.1 用戶的訪問密鑰 101 
6.2.2 存儲空間 103 
6.2.3 對象或文件 103 
6.2.4 地域 103 
6.2.5 訪問域名 104 
6.3 開通對象存儲服務 104 
6.3.1 創建存儲空間 105 
6.3.2 上傳對象 107 
6.3.3 下載對象 109 
6.3.4 查看對象 110 
6.3.5 刪除對象 110 
6.3.6 刪除存儲空間 111 
6.4 小結 112 

第7章 遷移數據到對象存儲 113 
7.1 離線遷移設備 113 
7.1.1 什麼是離線遷移 113 
7.1.2 遷移設備類型 114 
7.1.3 遷移數據到更多雲產品 115 
7.1.4 遷移流程 115 
7.1.5 註意事項 117 
7.2 在線遷移服務 118 
7.2.1 什麼是在線遷移 118 
7.2.2 同雲對象存儲OSS內的在線數據遷移 118 
7.2.3 同雲產品間的在線數據遷移 121 
7.2.4 跨雲的在線數據遷移 124 
7.2.5 註意事項 125 
7.3 遷移工具 126 
7.3.1 ossimport工具 126 
7.3.2 ossutil工具 127 
7.3.3 鏡像回源 128 
7.4 小結 131 

第8章 安全與合規 132 
8.1 安全配置 132 
8.1.1 賬戶認證 132 
8.1.2 訪問授權 137 
8.1.3 數據加密 143 
8.1.4 監控審計 145 
8.1.5 沙箱防護 146 
8.2 合規管理 146 
8.2.1 清單 146 
8.2.2 合規保留 148 
8.3 小結 149 

第9章 數據保護 150 
9.1 存儲穩定性 150 
9.1.1 數據故障率和錯誤率 150 
9.1.2 對象存儲各存儲類型的穩定性指標 154 
9.2 同城冗餘存儲 155 
9.3 跨地域復制 157 
9.4 異地多活 158 
9.5 版本控制 159 
9.5.1 技術介紹 160 
9.5.2 開啟版本控制 162 
9.5.3 暫停版本控制 165 
9.5.4 刪除標記 167 
9.6 小結 168 

第10章 應用與實踐 169 
10.1 場景優化功能 169 
10.1.1 訪問域名 169 
10.1.2 傳輸加速 171 
10.1.3 上傳對象 173 
10.1.4 下載對象 179 
10.1.5 單連接限速 180 
10.1.6 對象元信息 180 
10.1.7 存儲空間標簽和對象標簽 181 
10.1.8 選取內容 182 
10.2 生命周期管理 183 
10.2.1 規則介紹 183 
10.2.2 存儲類型轉換 185 
10.2.3 解凍對象 186 
10.3 靜態網站托管 187 
10.3.1 使用說明 187 
10.3.2 靜態網站托管綁定自定義域名 188 
10.4 數據處理應用場景 189 
10.4.1 場景介紹 190 
10.4.2 原生圖片處理 192 
10.4.3 原生視頻處理 202 
10.4.4 集成數據處理 203 
10.5 應用場景最佳實踐 207 
10.5.1 隨機化對象名前綴 207 
10.5.2 網頁上傳數據 208 
10.5.3 移動應用上傳數據 211 
10.5.4 基於對象存儲的大數據分析 214 
10.5.5 敏感數據保護場景 218 
10.6 小結 220 

第三篇 總結與展望 
第11章 新場景、新趨勢、新技術 222 
11.1 數據湖存儲 222 
11.1.1 數據湖介紹 222 
11.1.2 基於對象存儲構建數據湖 223 
11.1.3 數據湖架構 224 
11.1.4 數據湖應用場景 227 
11.1.5 數據湖應用實踐 232 
11.1.6 數據湖存儲的關鍵特性 236 
11.2 混合雲存儲 237 
11.2.1 混合雲介紹 237 
11.2.2 混合雲存儲產品 239 
11.2.3 混合雲存儲的關鍵特性 243 
11.3 移動網絡5G存儲 243 
11.3.1 移動網絡5G介紹 243 
11.3.2 中心存儲 245 
11.3.3 邊存儲 245 
11.3.4 端訪問 245 
11.3.5 5G存儲的關鍵特性 247 
11.4 人工智能存儲 247 
11.4.1 人工智能介紹 247 
11.4.2 人工智能存儲架構 247 
11.4.3 人工智能存儲的關鍵特性 249 
11.5 存儲新技術趨勢 250 
11.5.1 新技術趨勢 250 
11.5.2 硬盤技術 250 
11.5.3 固態硬盤新技術 251 
11.5.4 內存新技術 252 
11.5.5 新技術影響存儲 252 
11.6 小結 252