AIGC全棧實戰 從零搭建多模態智能體
徐玉傑
- 出版商: 中國人民大學
- 出版日期: 2027-01-01
- 售價: $474
- 語言: 簡體中文
- 頁數: 308
- ISBN: 730035484X
- ISBN-13: 9787300354842
-
相關分類:
Large language model、DeepLearning、Kubernetes
尚未上市,歡迎預購
相關主題
商品描述
本書致力於幫你完成一次關鍵蛻變:從AI使用者進化為AI建造者。本書跳出單純呼叫API的常規路徑,帶你從零建構一套完全私有化、功能完備的多模態智能體系統,將技術主導權歸還給每一位技術探索者。 全書共十四章,沿著四條進階路徑展開:首先夯實生成式AI的核心原理,部署Python、Docker、ComfyUI、Dify、Ollama等開源工具;其次以ComfyUI為核心,覆蓋文生圖、圖生圖、支援區域遮罩的影像處理應用、視訊生成、音色克隆、照照片數字人、3D模型生成、音樂生成等八大應用場景,深入講解API調用、集群調度與LoRA模型訓練;再次借助Dify搭建私有化多模態系統,實現問答、生成、識別、知識庫等完整功能;最後探索AI生成PPT、大模型微調以及OpenClaw等前沿智能體平臺。 本書適合AI開發者、技術負責人、產品經理、創業家等所有不滿足於僅呼叫API的技術探索者。讀完本書,你將獲得獨立研究、測試並部署AI模型的方法論,建立「在AI時代做主動建造者」的技術自信。
作者簡介
徐玉傑(Miracle),畢業於中國石油大學,擁有14年技術研發與管理經驗,先後在多家技術研發公司任職技術負責人崗位,擅長C/C++、PHP、Python、Cloud Native、OpenStack私有雲AI等技術,主導並交付多個網絡安全、IaaS、物聯網及AI應用等領域的高代價值器 目前在美通互動任職CTO,並負責AI系列平臺產品(SaaS、PaaS)的研發落地;發明專利《一種基於跨模態語義映射的圖文視頻生成方法及系統》;兼任中國商務廣告協會(CAAC)數位行銷資深技術專家。 從2012年開始進行AI類專案研發,主導專案包括智慧交通路口視訊即時分析辨識、AI知識圖譜、基於觸控板的AI系統軟體(基於手勢軌跡學習、分析辨識)、直播AI助理、AI智能體平臺、AI算力調度平臺等,並先後在北京大學等多所重點大學進行技術分享與產品路演。
目錄大綱
前言 淺談AI生成的原理:從機率到創造
一 生成式AI的本質
二 核心原理:從潛空間到生成空間
三 多模態生成的統一框架
四 生成品質的評估維度
五 從原理到實作:技術棧全景
六 本書涉及的開源大模型清單
七 本書涉及的開源平臺及軟體清單
第一章 主流開源大模型介紹
1.1 大模型的種類劃分
1.2 DeepSeek(深度求索)系列模型介紹
1.3 通義千問Qwen系列模型介紹
1.4 Llama系列模型介紹
1.5 BGE(BAAI general embedding)模型介紹
1.6 Rerank系列模型介紹
1.7 Flux系列模型介紹
1.8 通義萬相係列模型介紹
1.9 混元系列模型介紹
1.10 AI短劇主流系列開源模型介紹
第二章 AIGC環境及工具部署-先有趁手的「傢夥」才能做大事
2.2 運行環境部署-Docker和Docker Compose
2.3 AIGC開源工具-ComfyUI平臺介紹及單機和叢集部署
2.4 AIGC開源工具-Dify平臺介紹及部署安裝
2.5 部署Ollama-開源大模型的整合運行工具
2.6 部署Xinference
第三章 ComfyUI的詳細介紹與使用
3.1 ComfyUI目錄結構說明
3.2 custom_nodes介紹
3.3 custom_nodes部分主流節點介紹
3.4 AI應用工作流程-文生圖
3.5 AI應用工作流程-圖生圖
3.6 AI應用工作流程-支援區域遮罩功能的影像處理應用
3.7 AI應用工作流程-AI首尾幀影片生成
3.8 AI應用工作流程-AI音色克隆
3.9 AI應用工作流程-照片數位人
3.10 AI應用工作流程-AI 3D模型生成
3.11 AI應用工作流程-AI音樂生成
3.12 其他ComfyUI任務相關的問題
第四章 ComfyUI的詳細使用-透過API呼叫ComfyUI
4.1 為什麼透過API來呼叫ComfyUI?
4.2 如何呼叫ComfyUI普通工作流程的API?
4.3 如何呼叫具有遮罩功能的ComfyUI API?
4.4 封裝API-Flask架構的學習與使用
4.5 如何叢集調度ComfyUI?
第五章 搭建視覺化訓練平臺,訓練自己的LoRA模型
5.1 什麼是LoRA?
5.2 FluxGym平臺的介紹、部署及使用
5.3 AI-Toolkit平臺的部署與使用
第六章 開發ComfyUI Node節點
6.1 開發一個初級節點
6.2 自訂節點
6.3 多參數自訂節點開發
第七章 智能體開發-Dify平臺的詳細介紹與使用
7.1 什麼是智能體?
7.2 智能體開發平臺-生產級Agentic工作流程開發平臺
7.3 Dify工作流程內建節點元件功能介紹
7.4 LLM工具的使用
7.5 知識檢索工具的使用
7.6 問題分類器的使用
7.7 程式碼執行工具的使用
7.8 文檔提取器的使用
第八章 Dify對接API
8.1 對接API的意義是什麼?
8.2 Dify API對接前的準備
8.3 執行工作流程API文檔
8.4 取得工作流程的執行情況
8.5 停止任務回應接口
8.6 上傳文件接口
8.7 取得工作流程的日誌
8.8 取得應用基本資訊介面
8.9 取得應用參數
8.10 知識庫
第九章部署Dify高可用k8s集群
9.1 部署Dify集群的意義
9.2 安裝集群前的準備
9.3 安裝Kubernetes(k8s)
9.4 部署NFS
9.5 部署Dify集群
第十章 AI多模態智能體開發
10.1 什麼是多模態智能體?
10.2 AI多模態智能體簡要互動流程及架構
10.3 開始建構AI多模態智能體
10.4 如何與智慧型穿戴裝置(智慧眼鏡)結合?
第十一章 淺談AI生成PPT
11.1 AI PPT的現狀
11.2 用戶痛點
11.3 AI生成PPT應該具備的功能
11.4 如何發展一個AI生成PPT的應用?
11.5 如何在線上編輯PPT?
第十二章 大模型微調實戰
12.1 什麼是大模型微調?
12.2 大模型微調和RAG的差別
12.3 大模型微調的方式有哪些?
12.4 微調DeepSeek-R1蒸餾模型-全參數微調方式
12.5 微調DeepSeek-R1 8B模型-高效微調方式
12.6 將訓練後的模型轉換成Ollama格式
12.7 視覺化微調模型平臺LLaMA-Factory的介紹與部署使用
第十三章 熱門AI私人助理OpenClaw的介紹、部署及使用教學課程
13.1 什麼是OpenClaw?
13.2 OpenClaw與傳統AI助理的區別
13.3 OpenClaw與主流AI助理的功能對比
13.4 OpenClaw程式設計師技能配置清單
13.5 基於Ubantu系統部署OpenClaw
13.6 學習開發OpenClaw的Skills
13.7 OpenClaw結合釘釘平臺,成為企業的智慧助手
13.8 OpenClaw常用指令說明
第十四章 企業級智慧助理Hermes Agent
14.1 Hermes Agent介紹
14.2 Hermes Agent與OpenClaw差異對比
14.3 部署安裝Hermes Agent
14.4 運行Hermes Agent
14.5 Hermes Agent目錄結構及工具
14.6 技能係統
14.7 定時任務
14.8 使用API呼叫Hermes Agent
結尾
