面向AI大模型的智能算力基礎設施構建與應用

苗青，博士，正高級工程師，曾任上海郵電設計咨詢研究院有限公司執行董事、黨委書記、總經理，現任中國電信集團有限公司雲南電信實業分公司、雲南省通信產業服務有限公司董事、黨委書記、總經理。長期從事雲計算、物聯網、人工智能、語音處理及信息系統集成等領域的技術研究，作為企業負責人和項目負責人完成工業和信息化部“網絡協同制造業務流程優化工業互聯網平臺測試床項目”、上海市發展和改革委員會“基於AI語音技術的中小企業自助客服雲平臺”、上海市科學技術委員會“區域級消防物聯網關鍵技術研發與應用”和“基於人工智能的物聯網產業敏捷服務平臺”等重點課題項目，帶領團隊榮獲多個獎項。 張先鋒，碩士，正高級工程師，現任上海郵電設計咨詢研究院有限公司黨委書記、總經理。長期從事IT系統、大數據、雲計算等領域的技術研究工作，作為項目負責人完成大量政府、企事業單位（包括運營商總部）的項目規劃、咨詢和設計工作。 黃瑾，碩士，正高級工程師，國家註冊一級建造師、註冊咨詢工程師、註冊監理工程師，現任上海郵電設計咨詢研究院有限公司數據勘察設計院副總工程師。長期從事算力基礎設施的規劃設計、標準編制及新技術跟蹤研究工作，曾獲多項國家級和省部級優秀咨詢獎項，多次主編或參編國家及行業標準。 李強，工程師，現任上海郵電設計咨詢研究院有限公司一級設計師。長期從事雲計算、人工智能及IT系統等領域的技術研究和運營商總部項目咨詢與設計工作，曾以項目設計負責人身份參與天翼雲上海臨港國產萬卡算力池工程建設項目。近年來聚焦算力網絡、大規模智算集群建設等方向的技術落地與實踐。

第 1 章 概述... 1 1.1 算力：數字時代的核心生產力... 1 1.2 AI：新質生產力的重要引擎與算力需求的變革者... 5 1.3 智能算力：為 AI 而生的計算新範式... 11 1.4 AI 大模型：驅動智能算力走向超大規模的核心引擎... 12 1.5 標準化：構建產業協同的基石... 13 第 2 章 AI 對智能算力基礎設施的需求... 15 2.1 AI 發展對算力的宏觀需求與驅動... 15 2.1.1 技術演進重塑算力基礎設施的需求... 15 2.1.2 算力規模增長與結構演變... 16 2.2 智能算力服務模式分類 ... 20 2.3 大模型預訓練場景的需求... 21 2.3.1 預訓練對智能算力基礎設施的功能需求... 21 2.3.2 預訓練對智能算力基礎設施的資源需求... 23 2.4 大模型微調場景的需求 ... 25 2.4.1 SFT：追求極致性能的高昂路徑... 27 2.4.2 PEFT：兼顧效果與成本的主流選擇... 28 2.4.3 微調的資源需求與策略選擇 ... 31 2.5 大模型推理場景的需求 ... 33 2.5.1 模型準備與優化：奠定高效推理的基礎... 34 2.5.2 推理對智能算力基礎設施的資源需求 ... 39 第 3 章 智能算力基礎設施的關鍵技術 ... 41 3.1 多元異構計算 ... 41 3.1.1 多元異構計算的架構... 41 3.1.2 智算服務器架構設計理念... 462 3.1.3 深度學習訓練型 AI 服務器... 47 3.1.4 智能應用推理型 AI 服務器... 48 3.1.5 技術發展趨勢...49 3.2 芯片間高速互連...50 3.2.1 PCIe... 50 3.2.2 CXL... 52 3.2.3 NVLink... 55 3.2.4 PCIe、CXL、NVLink 的對比... 57 3.3 節點間高性能無損網絡...58 3.3.1 核心使能技術 RDMA...58 3.3.2 關鍵網絡架構與拓撲...62 3.3.3 應用方案：從智算中心內到跨廣域網... 69 3.4 彈性高速存儲... 73 3.4.1 AI 大模型的存儲需求...73 3.4.2 主流存儲技術的適用性...75 3.4.3 優化存儲性能和成本的策略... 76 3.5 並行加速技術... 77 3.5.1 數據並行...78 3.5.2 張量並行...79 3.5.3 流水線並行...81 3.5.4 混合並行與使能技術...82 3.6 模型優化關鍵技術...83 3.6.1 模型壓縮...84 3.6.2 提示詞工程...91 3.6.3 RAG... 93 3.7 資源管理與調度...95 3.7.1 異構算力管理與調度的挑戰... 95 3.7.2 異構算力管理與調度的關鍵技術... 96 3.8 智能體... 98 3.8.1 核心架構與關鍵組件...99 3.8.2 人機協同模式... 100 3.8.3 主要應用場景與產業實踐... 101 3.9 AI 安全 ... 101 3.9.1 數據安全... 102 3.9.2 模型安全... 103 3.9.3 應用安全... 104 第 4 章 智能算力基礎設施的建設 ... 106 4.1 總體架構 ... 106 4.1.1 硬件層... 108 4.1.2 軟件層... 108 4.1.3 平臺服務層... 109 4.1.4 業務系統層... 109 4.1.5 運維管理層... 109 4.2 網絡建設方案 ... 110 4.2.1 參數網絡... 112 4.2.2 存儲網絡... 117 4.2.3 業務網絡... 120 4.2.4 管理網絡... 122 4.3 資源配置方案 ... 127 4.3.1 GPU 服務器配置 ... 128 4.3.2 存儲資源配置... 129 4.3.3 其他服務器資源... 137 4.4 資源池管理方案... 139 4.4.1 核心功能... 139 4.4.2 資源池管理平臺系統架構與技術選型 ... 144 4.5 安全建設方案 ... 146 4.5.1 資源池安全風險分析... 146 4.5.2 資源池安全防護目標... 149 4.5.3 縱深防禦：分層安全建設方案與技術選型 ... 151 4.6 AI 平臺建設方案 ... 155 4.6.1 AI 平臺的核心定位與功能... 1564 4.6.2 AI 平臺建設路徑與技術棧選型... 157 第 5 章 算力互聯互通...160 5.1 算力網絡...160 5.1.1 算力網絡的背景...160 5.1.2 算力互聯互通的核心需求... 162 5.1.3 算力互聯互通的流程機理... 166 5.1.4 算力網絡的參考架構...173 5.2 跨域算力調度系統...177 5.2.1 系統定位...177 5.2.2 功能架構...179 5.2.3 關鍵技術...180 5.3 算力網絡的產業實踐...188 5.3.1 電信運營商：網絡的構建者與服務的主導者...188 5.3.2 設備與方案供應商：全棧技術的賦能者...188 5.3.3 雲服務提供商：算力供給與平臺創新的核心...189 5.4 算力網絡的未來發展趨勢...189 第 6 章 行業大模型構建與應用...191 6.1 行業大模型構建...191 6.1.1 行業需求分析與資源評估... 192 6.1.2 行業數據與大模型共建...195 6.1.3 行業大模型微調與優化部署... 198 6.2 行業大模型能力評價指標...200 6.2.1 行業大模型基礎能力評估... 200 6.2.2 行業大模型服務能力評估... 205 6.3 DeepSeek 大模型在銀行系統部署的行業實踐案例 ...207 6.3.1 挑戰與需求分析...208 6.3.2 系統架構設計...208 6.3.3 系統部署與持續優化...210 6.3.4 成本估算...211 6.4 大模型應用面臨的風險與應對措施... 214 6.4.1 大模型的幻覺問題... 214 6.4.2 信息安全及隱私風險... 215 6.4.3 算法偏見與社會公平性挑戰 ... 216 第 7 章 超大規模集群展望... 218 7.1 超大規模集群是通向更強 AI 的算力階梯... 218 7.2 超大規模集群面對的挑戰與應對方案 ... 219 7.2.1 應對功耗挑戰：園區級部署與散熱方案... 220 7.2.2 應對網絡挑戰：超大規模拓撲設計策略... 221 7.2.3 優化物理互連：布線方案與成本效益 ... 223 7.2.4 保障系統穩定：可靠性設計與故障恢復... 223 7.2.5 控制建設成本：網絡技術選型與權衡 ... 225 參考文獻... 229