NVIDIA RTX Spark 地端 AI 全面玩透：Windows 筆電跑 Agents、生圖、微調一次搞定
胡嘉璽 著
- 出版商: 深智
- 出版日期: 2026-11-19
- 定價: $1,200
- 售價: 7.9 折 $948
- 語言: 繁體中文
- 頁數: 1040
- ISBN: 6266542064
- ISBN-13: 9786266542065
-
相關分類:
Large language model、DeepLearning、CUDA
尚未上市，歡迎預購
相關主題
商品描述
NVIDIA RTX Spark 把 Grace CPU、Blackwell GPU 與最高 128GB 的統一記憶體放進一台 Windows 筆電。這台筆電在地端 AI 上能做到什麼，又有哪些限制，本書用實機一一驗證。
本書從開箱後的驅動與 CUDA 13.4 開始，帶你在原生 Windows ARM64 上執行 Ollama、llama.cpp、LM Studio 與 PyTorch，用 ComfyUI 生成圖片與影片，再進入 RAG、MCP、Hermes Agent、模型路由與 Coding Agent。後半部介紹 Windows ML 與 Foundry Local、用 llama.cpp RPC 串接多台機器，最後用 Unsloth、ai-toolkit 與 TRL 完成文字與影像的微調、DPO 與 GRPO 偏好對齊，並從零預訓練一個小型語言模型。
每一章都附上實際的截圖、量測的速度與記憶體，也寫下 Windows ARM64 上遇到的錯誤與繞過的方法。不論你已經有一台 RTX Spark，或者正在考慮購買，都可以用書裡的實測結果判斷 RTX Spark 適合哪些地端 AI 的工作。
【適合對象】
會使用 Windows 與 PowerShell、寫過一點 Python，想在自己的電腦上執行與訓練 AI 模型的開發者與進階使用者。
【本書特色】
► RTX Spark 的晶片、統一記憶體與 GPU 記憶體配置
► Windows on Arm 的驅動與 CUDA 13.4
► uv、Python 開發環境、WSL2 的 GPU 與容器
► Ollama、LM Studio 與 llama.cpp
► PyTorch 與 vLLM，GGUF 與 FP4 量化
► ComfyUI 圖像與影片生成，語音辨識、合成與音樂生成
► 視覺語言模型、RAG、工具呼叫與 MCP
► Hermes Agent 的安裝、技能、記憶、排程與訊息平台
► Switchyard 模型路由與 Coding Agent
► Windows ML、Foundry Local 與 NPU
► Unsloth 與 ai-toolkit 的 LoRA 微調
► TRL 的 SFT、DPO、GRPO，從零預訓練一個小型模型
【書附下載】
附錄A Windows 與工具指令速查
A-1 PowerShell 與 winget
A-2 驅動與 CUDA
A-3 推論工具
A-4 WSL2
附錄B 推薦模型與效能基準
B-1 128GB 推薦模型
B-2 64GB 推薦模型
B-3 兩台的實測速度
附錄C 疑難排解
C-1 驅動與 CUDA
C-2 記憶體
C-3 Python 套件
C-4 推論工具
附錄D RTX Spark 機型規格與選購
D-1 NVIDIA 參考規格
D-2 各家機型
D-3 在台灣購買
附錄E Windows on Arm 軟體相容性列表
E-1 怎麼判斷一個軟體是幾等公民
E-2 相容性列表
E-3 實測：安裝之後看架構
作者簡介
胡嘉璽
研究領域為LLM、Vibe Coding、Context Engineering、量子電腦、容器。喜歡旅遊、重訓、天文、物理、美食、爵士樂及貓咪。
聯絡方式：github/joshhu
目錄大綱
▌第1 篇 硬體與系統建置
第0 章 地端模型與四種硬體選擇
0-1 什麼是地端模型
0-2 模型大小與記憶體
0-3 個人桌上的四種選擇
0-4 RTX Spark 與 DGX Spark
0-5 本書的路線
0-6 本章小結
第1 章 RTX Spark 的晶片與統一記憶體
1-1 晶片的組成
1-2 規格與機種
1-3 Windows 上的 GPU 記憶體
1-4 頻寬與速度
1-5 適合執行什麼模型
1-6 本章小結
第2 章 Windows 準備工作與 CUDA 13.4 安裝
2-1 Windows 11 on Arm
2-2 Windows 的準備工作
2-3 NVIDIA 驅動
2-4 CUDA Toolkit 13.4
2-5 電源與效能
2-6 已知問題
2-7 本章小結
第3 章 開發環境與 WSL2
3-1 終端機與套件管理
3-2 Python 與 uv
3-3 編譯工具
3-4 WSL2 與 GPU
3-5 容器
3-6 三種執行環境怎麼選
3-7 本章小結
第4 章 遠端存取與系統監控
4-1 遠端桌面與 SSH
4-2 跨網路存取
4-3 GPU 監控
4-4 系統監控
4-5 本章小結
▌第2 篇 地端模型推論入門
第5 章 Ollama
5-1 安裝 Ollama
5-2 下載與執行模型
5-3 API
5-4 調整設定
5-5 Modelfile 與匯入
5-6 已知問題
5-7 本章小結
第6 章 Open WebUI
6-1 安裝方式
6-2 連接模型
6-3 使用功能
6-4 多人使用
6-5 本章小結
第7 章 LM Studio 與桌面工具
7-1 Windows on Arm 的桌面工具
7-2 LM Studio
7-3 Jan
7-4 Foundry Local
7-5 本章小結
第8 章 llama.cpp
8-1 取得 llama.cpp
8-2 GGUF 與模型下載
8-3 命令列工具
8-4 重要參數
8-5 已知問題
8-6 本章小結
▌第3 篇 CUDA 推論進階
第9 章 PyTorch 與 vLLM
9-1 PyTorch on Windows Arm
9-2 Transformers 推論
9-3 缺 wheel 的套件
9-4 vLLM 走 WSL2
9-5 本章小結
第10 章 量化
10-1 量化的基本觀念
10-2 GGUF 量化等級
10-3 FP4 與 Blackwell
10-4 挑選量化
10-5 本章小結
第11 章 推論加速
11-1 注意力加速
11-2 投機解碼與 MTP
11-3 快取
11-4 TensorRT for RTX
11-5 本章小結
第12 章 方案比較
12-1 比較方法
12-2 推論工具比較
12-3 原生與 WSL2
12-4 使用情境
12-5 選擇建議
12-6 本章小結
▌第4 篇 多媒體AI 生成
第13 章 圖像與影片生成
13-1 安裝 ComfyUI
13-2 圖像生成
13-3 影片生成
13-4 統一記憶體的調整
13-5 本章小結
第14 章 語音、音訊與音樂
14-1 語音辨識
14-2 語音合成
14-3 即時語音對話
14-4 音樂生成
14-5 本章小結
▌第5 篇 多模態與AI Agent
第15 章 視覺語言模型
15-1 VLM 入門
15-2 Ollama 與 llama.cpp
15-3 實際應用
15-4 大型 VLM
15-5 本章小結
第16 章 RAG
16-1 RAG 原理
16-2 建立索引
16-3 現成工具
16-4 自己寫一套
16-5 本章小結
第17 章 AI Agent 與 OpenShell
17-1 工具呼叫
17-2 Windows 的 Agent 基礎
17-3 OpenShell
17-4 Agent 框架
17-5 本章小結
第18 章 Hermes Agent 入門
18-1 Hermes Agent 是什麼
18-2 安裝桌面版
18-3 Local models 一鍵本機模型
18-4 接上自己的推論伺服器
18-5 第一個 Agent 任務
18-6 終端機的檢查與設定
18-7 自訂端點的排錯
18-8 已知問題
18-9 本章小結
第19 章 Hermes Agent 進階
19-1 技能
19-2 記憶
19-3 排程
19-4 MCP 與子 Agent
19-5 訊息平台
19-6 安全
19-7 本章小結
第20 章 模型路由
20-1 為什麼要模型路由
20-2 Switchyard
20-3 路由策略
20-4 decision model
20-5 在 RTX Spark 上架 decision model
20-6 Hermes Router
20-7 其他路由工具
20-8 本章小結
第21 章 編輯器與 Vibe Coding
21-1 終端機 Coding Agent
21-2 接上地端模型
21-3 VS Code
21-4 實戰
21-5 本章小結
▌第6 篇 Windows 生態與多機延伸
第22 章 Windows AI 堆疊
22-1 Windows ML
22-2 Foundry Local
22-3 Windows AI APIs
22-4 DirectML 現況
22-5 怎麼選
22-6 本章小結
第23 章 多機與混合部署
23-1 為什麼要多台
23-2 llama.cpp RPC
23-3 Wi-Fi 與有線網路
23-4 異質叢集
23-5 本章小結
▌第7 篇 模型微調與訓練
第24 章 Unsloth 微調
24-1 微調觀念
24-2 安裝 Unsloth
24-3 準備資料
24-4 訓練與評估
24-5 匯出
24-6 本章小結
第25 章 影像 LoRA
25-1 影像 LoRA 原理
25-2 訓練工具
25-3 訓練
25-4 使用 LoRA
25-5 本章小結
第26 章 PyTorch、PEFT 與 TRL
26-1 Hugging Face 微調堆疊
26-2 SFT
26-3 Windows 的限制
26-4 記憶體
26-5 本章小結
第27 章 DPO 與GRPO
27-1 偏好對齊
27-2 DPO
27-3 GRPO
27-4 評估
27-5 不用訓練的 abliteration
27-6 本章小結
第28 章 從零預訓練
28-1 預訓練的準備
28-2 訓練程式
28-3 訓練過程
28-4 結果
28-5 本章小結
