存儲網絡中擁塞的檢測、排查和預防

譯者序
推薦序
前言
獻辭
致謝
關於技術審稿人

第1章　存儲網絡中的擁塞簡介1
1.1　數據中心的存儲類型1
1.1.1　基於位置的存儲類型1
1.1.2　基於訪問級別的存儲類型2
1.2　存儲協議、傳輸和網絡4
1.2.1　基於框架格式和編碼的網絡類型4
1.2.2　基於流量控制使用情況的網絡類型6
1.2.3　跨越網絡類型的邊界8
1.2.4　網絡層之上9
1.2.5　再次跨越網絡類型的邊界11
1.3　存儲網絡16
1.3.1　存儲網絡架構16
1.3.2　術語18
1.3.3　光纖通道和FCoE術語18
1.3.4　存儲的選擇19
1.3.5　存儲網絡的選擇20
1.3.6　存儲流量的專用網絡與共用網絡20
1.3.7　存儲網絡的常見問題21
1.4　存儲網絡中的擁塞概述22
1.4.1　擁塞擴散22
1.4.2　存儲網絡中擁塞的原因24
1.4.3　存儲網絡中擁塞的來源29
1.4.4　存儲網絡中擁塞的常見問題30
1.5　NVMe-oF32
1.6　QoS33
1.6.1　網絡延遲的來源34
1.6.2　存儲網絡中QoS的常見問題35
1.7　本章小結37
1.8　參考文獻38

第2章　理解光纖通道網絡中的擁塞40
2.1　光纖通道流量控制40
2.1.1　B2B信用的初始傳遞41
2.1.2　幀流期間的B2B信用返回42
2.1.3　多跳網絡中的B2B流量控制46
2.2　光纖通道網絡中的擁塞擴散49
2.2.1　慢速設備導致的擁塞50
2.2.2　過度利用導致的擁塞52
2.2.3　比較慢排空和過度利用導致的擁塞54
2.2.4　單交換機網絡中的擁塞56
2.2.5　ISL中的擁塞56
2.2.6　緩衝和吸收擁塞的能力61
2.3　光纖通道交換機內的幀流62
2.3.1　思科MDS交換機內的幀交換63
2.3.2　光纖通道交換機的幀交換架構64
2.4　比特差錯對擁塞的影響67
2.4.1　光纖通道框架格式68
2.4.2　光纖通道分層69
2.4.3　光纖通道上的數據傳輸69
2.4.4　光纖通道埠上的計數器75
2.4.5　案例研究：一家線上零售商78
2.4.6　比特差錯對擁塞的影響總結81
2.5　B2B信用的丟失與恢復81
2.5.1　比特差錯導致的發送B2B信用丟失81
2.5.2　零remaining-Tx-B2B-credits持續較長時間83
2.5.3　通過B2B狀態變更機制實現信用丟失恢復84
2.5.4　通過鏈路重置協議實現信用丟失恢復88
2.5.5　B2B狀態變更機制與鏈路重置協議的比較89
2.6　光纖通道計數器總結89
2.7　本章小結91
2.8　參考文獻92

第3章　檢測光纖通道網絡中的擁塞93
3.1　擁塞檢測工作流程93
3.1.1　擁塞的影響（擁塞嚴重程度）93
3.1.2　擁塞的原因94
3.1.3　擁塞的源頭（肇事者）94
3.1.4　擁塞的擴散（受害者）95
3.1.5　擁塞事件的時間95
3.1.6　如何檢測擁塞95
3.1.7　何處檢測擁塞96
3.1.8　擁塞方向：入口或出口96
3.2　擁塞檢測指標97
3.3　思科MDS交換機的擁塞檢測指標98
3.3.1　發送信用不可用時間（μs）：TxWait99
3.3.2　接收信用不可用時間（μs）：RxWait103
3.3.3　發送信用不可用持續時間（ms）：Slowport-monitor104
3.3.4　發送信用不可用持續時間（100 ms）：Tx-credit-not-available107
3.3.5　TxWait、Slowport-monitor和Tx-credit-not-available之間的差異109
3.3.6　何時啟用Slowport-monitor112
3.3.7　接收信用不可用持續時間（100 ms）：Rx-credit-not-available113
3.3.8　超時丟棄114
3.3.9　發送信用丟失恢復116
3.3.10　鏈路故障：鏈路重置失敗，接收佇列非空（LR Rcvd B2B）117
3.3.11　信用和剩餘信用119
3.3.12　信用降至零120
3.3.13　鏈路利用率121
3.3.14　比特差錯124
3.4　自動警報124
3.5　使用遠端監控平臺檢測擁塞130
3.5.1　NDFC擁塞和慢排空分析 130
3.5.2　MDS流量監控應用程式132
3.5.3　指標匯出機制136
3.5.4　監控網絡流量的陷阱139
3.6　檢測慢排空和過度利用導致的擁塞142
3.7　同時出現慢排空和過度利用143
3.8　檢測長距鏈路上的擁塞144
3.9　本章小結144
3.10　參考文獻145

第4章　排查光纖通道網絡中的擁塞146
4.1　排查方法與工作流程146
4.1.1　擁塞的嚴重程度和級別 146
4.1.2　排查的目標148
4.1.3　方法149
4.2　排查擁塞的提示與技巧156
4.2.1　首先排查較高級別的擁塞156
4.2.2　使用show tech-support slowdrain命令158
4.2.3　時鐘同步和時序考量 159
4.2.4　超時丟棄異常159
4.2.5　啟用和使用自動警報功能160
4.2.6　使用遠端監控平臺（NDFC或DCNM）160
4.3　排查擁塞的思科MDS NX-OS命令160
4.3.1　show interface命令161
4.3.2　show interface counters [detailed]命令162
4.3.3　show interface txwait-history | rxwait-history命令165
4.3.4　OBFL命令：show logging onboard166
4.3.5　常用排查命令172
4.3.6　系統消息：show logging log178
4.4　案例研究1：在單交換機網絡中尋找擁塞的肇事者和受害者179
4.4.1　網絡A分析180
4.4.2　網絡B分析187
4.4.3　肇事者分析188
4.4.4　受害者分析189
4.4.5　案例研究1總結202
4.5　案例研究2：信用丟失恢復導致幀丟棄202
4.5.1　初步調查203
4.5.2　網絡A分析204
4.5.3　網絡B分析209
4.5.4　肇事者分析218
4.5.5　受害者分析220
4.5.6　案例研究2總結223
4.6　案例研究3：單一設備的過度利用導致嚴重擁塞225
4.6.1　3級225
4.6.2　2級225
4.6.3　肇事者分析242
4.6.4　受害者分析242
4.6.5　案例研究3總結245
4.7　案例研究4：長距ISL導致擁塞246
4.7.1　3級247
4.7.2　2級247
4.7.3　1.5級247
4.7.4　肇事者分析255
4.7.5　受害者分析255
4.7.6　案例研究4總結256
4.8　本章小結257
4.9　參考文獻258

第5章　通過存儲I/O性能監控解決擁塞259
5.1　為什麼要監控存儲I/O性能259
5.2　如何以及在何處監控存儲I/O性能260
5.2.1　主機中的存儲I/O性能監控260
5.2.2　存儲陣列中的存儲I/O性能監控260
5.2.3　網絡中的存儲I/O性能監控261
5.3　思科SAN分析架構262
5.3.1　流量檢查262
5.3.2　指標計算263
5.3.3　指標匯出263
5.4　理解存儲網絡中的I/O流263
5.4.1　光纖通道網絡中的I/O流263
5.4.2　I/O流與I/O操作266
5.5　I/O流指標267
5.5.1　延遲指標267
5.5.2　性能指標270
5.6　I/O操作和網絡流量模式272
5.6.1　光纖通道網絡中的讀I/O操作272
5.6.2　光纖通道網絡中的寫I/O操作273
5.6.3　網絡流量方向274
5.6.4　網絡流量輸送量 276
5.6.5　I/O操作、流量模式和網絡擁塞的相關性276
5.6.6　案例研究1：一家貿易公司通過SAN分析預測了擁塞問題277
5.6.7　案例研究2：一所大學通過糾正多路徑配置錯誤避免了擁塞問題280
5.6.8　案例研究3：一家能源公司成功解決了擁塞問題282
5.6.9　案例研究4：一家銀行通過基礎設施優化解決了擁塞問題285
5.7　本章小結287
5.8　參考文獻288

第6章　預防光纖通道網絡中的擁塞289
6.1　消除或減少擁塞概述290
6.1.1　定義方法的結果291
6.1.2　手動與自動方法的對比291
6.2　鏈路容量292
6.3　通過斷開肇事設備實現擁塞恢復292
6.3.1　斷開肇事設備的考慮因素293
6.3.2　如何斷開連接293
6.4　通過丟棄幀實現擁塞恢復294
6.4.1　根據在交換機中的存留時間丟棄幀294
6.4.2　根據邊緣埠的慢排空丟棄幀295
6.5　流量隔離300
6.5.1　分類流量以實現隔離302
6.5.2　將流量隔離至專用ISL302
6.5.3　案例研究：一家銀行通過流量隔離避免了擁塞307
6.5.4　使用虛擬連結進行流量隔離310
6.5.5　流量隔離的考慮因素325
6.6　在存儲陣列上使用限速器預防擁塞326
6.7　在交換機上使用動態入口速率限制預防擁塞328
6.7.1　DIRL如何預防擁塞328
6.7.2　DIRL的優勢330
6.7.3　啟用和使用思科MDS交換機上的DIRL331
6.7.4　DIRL的效果332
6.7.5　DIRL與其他方法的比較343
6.8　通過向終端設備發送通知預防擁塞345
6.8.1　光纖通道網絡中通知和信號的準備情況346
6.8.2　光纖通道網絡中的通知和信號346
6.8.3　RDF、EDC、FPIN和擁塞信號的示例349
6.8.4　對比擁塞預防方法：使用DIRL與通知終端設備353
6.9　網絡設計的考慮因素354
6.9.1　降低存儲埠的鏈路速率354
6.9.2　邊緣-核心-邊緣、邊緣-核心或折疊核心設計355
6.9.3　在單個交換機上增加流量當地語系化357
6.9.4　將大型網絡分成較小的孤島網絡357
6.10　本章小結358
6.11　參考文獻359

第7章　乙太網存儲網絡中的擁塞管理360
7.1　乙太網流量控制360
7.1.1　乙太網流量控制原理360
7.1.2　乙太網暫停幀與光纖通道B2B信用的比較371
7.1.3　優先順序流量控制372
7.1.4　融合乙太網377
7.1.5　配置無損乙太網377
7.1.6　專用和融合乙太網378
7.2　理解無損乙太網中的擁塞379
7.2.1　無損乙太網中的慢排空379
7.2.2　無損乙太網中的鏈路過度利用379
7.2.3　比特差錯379
7.2.4　單交換機無損乙太網中的擁塞擴散379
7.2.5　邊緣-核心無損乙太網中的擁塞擴散380
7.2.6　無損脊葉網絡中的擁塞擴散381
7.3　檢測無損乙太網中的擁塞383
7.3.1　擁塞方向：入口或出口383
7.3.2　擁塞檢測指標383
7.3.3　存儲I/O性能監控394
7.3.4　在遠端監控平臺上檢測擁塞397
7.4　排查無損乙太網中的擁塞400
7.4.1　目標400
7.4.2　擁塞的嚴重程度和級別400
7.4.3　方法401
7.4.4　排查脊葉拓撲中的擁塞401
7.4.5　實際效果驗證402
7.4.6　使用遠端監控平臺排查擁塞402
7.4.7　同一網絡中的FC和FCoE 404
7.4.8　同一鏈路上的多個無損類別406
7.4.9　無損流量和有損流量之間的頻寬分配407
7.5　預防無損乙太網中的擁塞409
7.5.1　消除或減少擁塞概述410
7.5.2　通過丟棄幀進行擁塞恢復411
7.5.3　路由無損乙太網中的擁塞通知415
7.6　使用VXLAN的無損流量423
7.6.1　VXLAN概述423
7.6.2　VXLAN傳輸423
7.6.3　物理拓撲423
7.6.4　MAC地址學習424
7.6.5　通過VXLAN實現無損流量傳輸424
7.6.6　VXLAN封裝424
7.6.7　VXLAN解封裝425
7.6.8　通過VXLAN進行擁塞通知425
7.6.9　VXLAN的流量控制和擁塞通知425
7.6.10　VXLAN中的擁塞管理426
7.7　本章小結426
7.8　參考文獻427

第8章　TCP存儲網絡中的擁塞管理429
8.1　理解TCP存儲網絡中的擁塞429
8.1.1　與無損網絡的比較429
8.1.2　iSCSI和NVMe/TCP如何交換數據430
8.1.3　TCP存儲網絡中的擁塞437
8.2　存儲I/O性能監控438
8.2.1　TCP流監控與I/O流監控439
8.2.2　iSCSI的I/O操作440
8.2.3　NVMe/TCP的I/O操作441
8.2.4　I/O操作、流量模式和網絡擁塞的相關性443
8.2.5　與無損網絡的比較443
8.2.6　從TCP流性能估算I/O流性能444
8.2.7　IP MTU和TCP MSS的考慮因素444
8.3　預防TCP存儲網絡中的擁塞445
8.3.1　消除或減少擁塞概述446
8.3.2　TCP存儲網絡中的擁塞通知447
8.3.3　交換機緩衝區的管理450
8.3.4　與無損乙太網的比較454
8.3.5　與光纖通道網絡的比較454
8.3.6　主動佇列管理455
8.4　檢測TCP存儲網絡中的擁塞458
8.4.1　終端設備內的擁塞源頭459
8.4.2　網絡中的擁塞源頭460
8.4.3　使用遠端監控平臺檢測擁塞465
8.4.4　使用思科Nexus Dashboard Insights檢測擁塞465
8.4.5　指標匯出機制465
8.5　排查TCP存儲網絡中的擁塞466
8.5.1　目標467
8.5.2　擁塞的嚴重程度和級別467
8.5.3　方法467
8.5.4　TCP存儲網絡中的負載均衡468
8.5.5　專用和共用存儲網絡的QoS考慮因素468
8.5.6　同一網絡中的FCoE、RoCE、iSCSI和NVMe/TCP469
8.6　無損網絡中的iSCSI和NVMe/TCP470
8.7　使用VXLAN的iSCSI和NVMe/TCP470
8.8　基於TCP/IP的光纖通道471
8.8.1　思科FCIP交換機上存儲流量的TCP優化471
8.8.2　檢測FCIP鏈路上的擁塞472
8.9　改進的TCP實現476
8.10　本章小結477
8.11　參考文獻477

第9章　思科UCS伺服器中的擁塞管理479
9.1　思科UCS架構479
9.1.1　UCS域480
9.1.2　UCS域中的流量480
9.1.3　UCS域中的流量控制481
9.2　理解UCS域中的擁塞481
9.3　檢測UCS域中的擁塞482
9.3.1　入口擁塞 482
9.3.2　出口擁塞482
9.3.3　FI伺服器埠與IOM/FEX交換矩陣埠之間的擁塞482
9.3.4　UCS擁塞檢測的注意事項483
9.4　UTM應用程式484
9.4.1　UTM的發展歷程484
9.4.2　UTM入門 485
9.4.3　UTM架構486
9.4.4　使用UTM的概述486
9.4.5　使用UTM排查擁塞486
9.4.6　UTM的擁塞排查工作流程487
9.4.7　案例研究1：查找UCS域的擁塞原因及源頭491
9.4.8　案例研究2：背板埠慢排空導致的擁塞495
9.4.9　案例研究3：FI上行埠的非均勻利用497
9.4.10　案例研究4：多路徑I/O不均衡導致的擁塞499
9.5　本章小結500
9.6　參考文獻500