打造元宇宙中的另一個你：虛擬偶像AI實作

★輕鬆打造專屬於你的虛擬偶像★

【本書內容】
從虛擬偶像的發展歷程開始解說，帶領讀者逐步體驗虛擬偶像的完整製作過程。
本書介紹了2D/3D建模工具和深度學習框架PyTorch、TensorFlow在虛擬偶像製作中的應用。
原理結合實踐，大量實際範例講解如何建模、AI表情動作遷移等流程，從擬真人物建模到表情動作的即時捕捉，再到傳輸至動作引擎中驅動人物動作，向讀者展現了人工智慧技術的強大與魅力。
本書實作性和系統性強，適合有一定IT背景並對虛擬產業關注的廣大讀者閱讀。

【本書特點】
．基於TensorFlow的人臉檢測演算法 
．基於PyTorch的動作同步演算法
．Live2D建模流程、Blender 3D建模流程全解析
．機器學習驅動的3D模型
．動作捕捉技術
．Live2D模型接入
．Cubism SDK+ARKit實現
．Live2D+FaceRig方案實現

【適合讀者群】
．具IT背景、對虛擬產業感興趣的讀者

前言

早在20世紀90年代日本就出現了虛擬偶像並進行專輯發售，後來基於音樂軟體製作的3DCG的「初音未來」被稱為虛擬偶像的成功典範。近年來，隨著短影音平台和直播帶貨行業的興起，透過繪畫、3D建模等結合動作捕捉或人工智慧的方式建立起來的虛擬偶像和網紅越來越多地出現在人們的視野，吸引著越來越多的人參與虛擬偶像網紅的推崇和製作。目前虛擬偶像實現方式上主要有兩大流派，基於動作捕捉的實現和基於人工智慧的方式。由於傳統的基於動作捕捉的方式硬體成本昂貴，入門門檻較高，普通人難以企及，所以越來越多的人和團隊開始採用人工智慧的實現方法。

遺憾的是，中文虛擬人物\偶像書籍的短缺限制了廣大普通讀者的創作，網路上雖然能夠找到一些資料，但大多是一些碎片化的資訊，對讀者的幫助十分有限。基於此，本書從基本的概念入手，原理結合實踐，對虛擬人物\偶像製作流程及其用到的建模工具和人工智慧技術進行詳細介紹，包括3D建模的基本方式、基於TensorFlow和PyTorch的人工智慧框架以及透過影片和即時串流輸入生成表情遷移後的虛擬人物，結合語音辨識、人機對話引擎和口型匹配演算法等生成自己專屬的帶有互動屬性的虛擬人物和偶像，旨在達到降低學習門檻、人人都可以上手的效果。

本書主要包含三部分：第一部分是基礎理論部分，從行業現狀和發展趨勢的角度來介紹什麼是虛擬偶像以及應用的行業，同時對目前業界主流的虛擬偶像實現方式進行概述，讓讀者對此有一個清晰全面的認識；第二部分是應用實踐，介紹基於Python的TensorFlow和PyTorch的機器學習框架的演算法實現部分，從動作同步、表情遷移以及口型同步等方法介紹作為基礎的框架技術；第三部分是專案實踐，介紹2D和3D虛擬偶像的實現方式，完整展示從零到一的製作流程。

本書深入淺出，實操性和系統性強，適合有一定IT背景並對虛擬產業關注的讀者們使用。

限於編者水準所限，書中難免存在不當之處，敬請業界專家和讀者們批評指正。

最後特別感謝王金柱編輯給予的幫助和指導，以及好友的支持和鼓勵。

馬健健

馬健健
上海交通大學軟體工程碩士，先後就職於平安、惠普、美國強生等公司，擔任軟體架構、資料分析技術經理，擁有14年軟體開發架構和技術管理經驗；目前就職於上海某知名汽車公司擔任資料平台技術經理，從事大數據處理、挖掘等研究和實作。

張翔
上海交通大學軟體工程碩士，從業十餘年，先後就職於巨人網絡、諾亞財富、愛奇藝等互聯網公司，主要從事移動端開發工作，擁有豐富的軟體開發經驗。
 

01 虛擬偶像概述
1.1 什麼是虛擬偶像
1.2 虛擬偶像的發展歷程
1.3 虛擬偶像的現狀和行業應用
1.4 小結

02 Python基礎入門
2.1 架設Python程式設計環境
2.2 Python資料型態
2.3 Python控制結構
2.4 Python函數
2.5 Python模組
2.6 Python物件導向程式設計
2.7 小結

03 常用的機器學習框架介紹
3.1 TensorFlow基礎及應用
3.2 PyTorch基礎及應用
3.3 小結

04 虛擬偶像模型創建工具
4.1 Live2D建模
4.2 三維建模
4.3 小結

05 如何創造虛擬偶像
5.1 虛擬偶像運動和互動的實現方式
5.2 基於付費的商業化解決方案
5.3 免費的人工智慧方案
5.4 小結

06 基於2D的虛擬偶像實現方案
6.1 動作捕捉技術
6.2 Live2D模型連線
6.3 Cubism SDK+ARKit實現
6.4 Live2D + FaceRig方案實現
6.5 小結

07 基於3D的虛擬偶像實現方案
7.1 3D虛擬偶像專案簡介
7.2 建立人物3D模型
7.3 虛擬偶像擬人化——預製表情和動作集
7.4 實現和使用者互動——建構語音對話機器人
7.5 嘴型對齊演算法應用
7.6 模型部署
7.7 服務呼叫和測試
7.8 小結

A 參考文獻