LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)

Chi Wang, Peiheng Hu 著 黃銘偉 譯

LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale) 預覽內頁
  • LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-1
  • LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-2
  • LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-3
  • LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-4
  • LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-5
  • LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-6
  • LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-7
  • LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-8
  • LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-9
LLM 服務部署與最佳化實戰｜從系統建構到高效運行 (Hands-On LLM Serving and Optimization: Hosting Llms at Scale)-preview-1

相關主題

商品描述

⭐⭐業界專家推薦⭐⭐
隨著LLM成為現代AI平台的核心，本書提供一份實用的藍圖，教你如何在大規模環境中部署與最佳化LLM服務，以可靠且兼顧成本效益的方式處理龐大的工作負載。
── Bhavesh Doshi，Salesforce AI 雲端事業群副總裁

大型語言模型（large language models，LLM）是現代AI的推理引擎。如今，一個重大的轉捩點已經到來：當全世界競相大規模部署AI，模型推論已移到整個技術堆疊的核心 ── 進入推論時代。
然而，少了適當的最佳化，LLM服務起來可能既昂貴又緩慢。本書深入解析大規模部署與最佳化LLM的種種複雜之處。

在這本以動手實作、工程實務為導向的書中，作者結合實際範例、程式碼與最佳策略，教你打造兼具穩定性、高效能與成本效益的AI Token工廠。無論你是在建構LLM推論的基礎設施，還是在開發運用它的AI應用程式，深入理解LLM服務的核心原理，都將讓你成為更具效率、更能因應未來AI發展的工程師。

本書精彩內容：
• 掌握模型服務的基礎知識，從核心概念、設計典範到業界最佳實務一次學會。
• 理解大規模運行LLM的常見挑戰。
• 平衡延遲與吞吐量，滿足AI應用程式與業務需求。
• 運用結合程式碼範例的實務技巧，以符合成本效益的方式架設LLM。

作者簡介

Chi Wang 是Salesforce AI事業群的工程總監，負責領導大規模的模型推論與資料科學平台。他在AI與分散式系統領域擁有超過18年的經驗，擁有十多項專利，並撰文分享如何建構實用的AI系統。

Peiheng Hu 是NVIDIA的LLM推論工程師，致力於在最新的GPU架構上推進LLM推論效能的極限。他擁有哈佛大學與喬治亞理工學院的學位，並在NVIDIA、Salesforce與Microsoft累積十多年經驗，專注於大規模分散式AI系統的建構。

目錄大綱

第一章　模型服務與最佳化導論
　模型剖析
模型生命週期：從訓練到服務
什麼是模型的服務供應？
為什麼要研究模型服務？
為什麼要最佳化模型服務（尤其是LLM）？
模型服務典範
結語

第二章　大型語言模型服務
　走進 Transformer 的內心世界
　執行LLM 生成：逐步演練
　LLM 串流服務基礎
　LLM 批次服務基礎
　結語

第三章　模型服務系統設計：深入剖析
　從零打造線上 LLM 服務
　單模型 LLM 服務的通用設計
　從零打造多模型服務
　多模型服務設計的取捨
　結語

第四章　模型服務的最佳實務
　代理式世界中的模型服務
　企業系統中的 LLM 服務：總覽
　用開源技術堆疊建構
　透過雲端供應商建構
自建還是採購？認識各種策略
衡量 LLM 服務的效能
結語

第五章　提供 LLM 服務時的挑戰
　為什麼最佳化 LLM 服務很重要？
加速器晶片在 LLM 服務裡的角色
LLM 模型載入的瓶頸
LLM 模型執行的瓶頸
其他 AI 加速器與趨勢
結語

第六章　基本的 LLM 最佳化技術
　請求批次處理與排程層級的最佳化
擴展注意力與 Kernel 最佳化
　模型壓縮
　前綴快取
　結語

第七章　進階的 LLM 最佳化技術
推測式解碼
多 GPU 與多節點推論
預填—解碼分離
進階 KV 快取
結語

第八章　LLM 服務框架
　為什麼我們需要專門的 LLM 服務框架？
　vLLM
TensorRT-LLM
　SGLang
　Llama.cpp
選擇合適的框架
結語

第九章　LLM 最佳化實戰
　LLM 服務最佳化計畫
　以 vLLM 最佳化 Qwen3-14B 的服務
　常見的最佳化取捨
　總結

第十章　LLM 服務的最新進展
　語意快取
　效能評測策略
　多模態服務
邊緣 AI：驅動力與推手
多 LoRA 服務
強化學習中的模型服務
　結語

索引

類似商品