多模態資料分析 - 影音圖文理論實作並重
巴川、李慧、鍾宇周、葉心函 著
- 出版商: 深智
- 出版日期: 2026-11-19
- 定價: $880
- 售價: 7.9 折 $695
- 語言: 繁體中文
- 頁數: 352
- ISBN: 6267889963
- ISBN-13: 9786267889961
-
相關分類:
DeepLearning、Computer Vision、Natural Language Processing
尚未上市，歡迎預購
相關主題
商品描述
【書籍簡介】
．從文字、影像、音訊、視訊四種單一模態出發，建立多模態資料分析的完整認知地圖。
．釐清多模態資料的定義與分析意義，並點出異質對齊、時序同步、品質落差三大挑戰。
．單一模態處理全覆蓋：文字分類與主題建模、影像物件辨識、音訊事件檢測、行為辨識。
．四種融合層次一次講透：特徵級、決策級、模型級與混合級融合各自的適用場景與取捨。
．三種創新融合法：深度學習自我調整融合、跨模態語義對齊、基於圖的影像關係推理。
．統計學打底：描述統計、假設檢驗、相關性與回歸分析，以二手車估價案例貫穿實作。
．八種經典機器學習演算法速覽，落地為車牌辨識與機器翻譯兩個可執行的完整案例。
．深度學習雙路徑：CNN 做顏值評分、LSTM 作詩，示範影像與序列資料的不同處理方式。
．知識圖譜從技術系統、建構方法到推理分析，用圖神經網路實作電影推薦。
．知識圖譜的企業級應用：使用者傳播路徑、搜尋行為分析與關係網路健康度評估。
．大模型專章：業務架構、技術架構與技術路線選擇，附 GPT 與 DeepSeek 多模態能力對比。
．四個產業實戰案例：肺部病變辨識、疾病早期篩查、直播高光時刻、短影音創作靈感。
作者簡介
巴川
資深數據科學家，曾就職於中國搜尋、搜狐暢遊、競技世界等互聯網公司。主要研究領域包括數據挖掘、人工智能、知識圖譜、精細化運營、風控體系等。CCF TF數據科學SIG主席，CAAI機器博弈專委會常委，曾任北京航空航天大學兼職碩導，西安交通大學研究生院授課專家，多所高校兼職授課教師、多個智庫技術專家。TOP100、QCon、DataFun、DTCC、SACC、WOT、A2M、CDAS、TID、GIEC、CCF青年菁英大會、中國軟件技術大會、中國計算機教育大會等行業峰會演講嘉賓及出品人。另任中國國際大學生創新大賽、CCF青年精英科技創業秀等多個創新創業大賽專家評委，多所高校創新創業導師，助力科研成果轉化落地。
李慧
資深數據分析挖掘工程師，碩士畢業於北京航空航天大學，曾就職於百度，任SACC、TOP100、DataFun、WOT等前沿技術大會演講嘉賓，專注多模態數據分析領域研究，在用戶增長、因果推斷、數據預測等方向累積了豐富實踐經驗，秉持數據賦能理念，擅長驅動數據價值落地與場景化應用。
鍾宇周
碩士畢業於北京大學光華管理學院，曾就職於競技世界、阿里巴巴，目前為快手主站數據分析師，負責C端流量核心業務，擅長統計回歸分析、機器學習模型預測與推斷、自然語言處理技術，致力於探索技術與業務結合的多模態數據分析方法。
葉心函
資深數據分析挖掘工程師，碩士畢業於中國科學院大學，在AI、風控和知識圖譜等領域有豐富的多模態數據分析經驗，並且見解獨特，擅長運用前沿算法和模型解決複雜數據問題，助力企業實現精準決策和高效增長。
目錄大綱
第1章 多模態資料分析概述
1.1 什麼是多模態資料
1.2 多模態資料分析的意義
1.3 多模態資料分析的挑戰
1.4 小結
第2章 單一模態資料處理與分析
2.1 文字資料處理與分析
2.1.1 文字資料處理
2.1.2 文字分類與主題建模
2.2 影像資料處理與分析
2.2.1 影像資料處理
2.2.2 影像物件辨識
2.3 音訊資料處理與分析
2.3.1 音訊資料前置處理
2.3.2 音訊分類與事件檢測
2.4 影片資料處理與分析
2.4.1 影片資料前置處理
2.4.2 行為辨識與動作分析
2.5 小結
第3章 多模態資料融合
3.1 多模態資料融合的研究意義
3.2 多模態資料融合的常規方法
3.2.1 特徵級融合
3.2.2 決策級融合
3.2.3 模型級融合
3.2.4 混合級融合
3.3 多模態資料融合的創新方法
3.3.1 基於深度學習的多模態特徵自適應融合
3.3.2 基於跨模態語義對齊的一致性增強融合
3.3.3 基於圖的多模態影像關係推理融合
3.4 小結
第4章 統計學與資料分析
4.1 統計學概述
4.2 基礎知識
4.2.1 描述統計
4.2.2 假設檢定
4.3 相關性分析
4.4 回歸分析
4.4.1 回歸分析介紹
4.4.2 案例：二手車怎麼買
4.5 演算法案例：基於相關性統計的短語詞雲
4.5.1 文字資料處理
4.5.2 短語詞雲演算法原理與展示
4.6 小結
第5章 基於機器學習的多模態資料分析
5.1 經典機器學習演算法介紹
5.1.1 線性回歸
5.1.2 邏輯回歸
5.1.3 支援向量機
5.1.4 決策樹
5.1.5 隨機森林
5.1.6 XGBoost
5.1.7 單純貝氏
5.1.8 神經網路
5.2 案例：基於支援向量機的車牌辨識
5.3 案例：基於神經網路的機器翻譯
5.4 小結
第6章 基於深度學習的多模態資料分析
6.1 深度學習介紹
6.2 卷積神經網路及其資料分析案例
6.2.1 卷積神經網路介紹
6.2.2 案例：顏值評分
6.3 序列資料應用— LSTM
6.3.1 循環神經網路和LSTM 介紹
6.3.2 案例：用模型作詩
6.4 深度學習擴充知識與應用
6.5 小結
第7章 基於知識圖譜的多模態資料分析
7.1 知識圖譜技術系統及其建構方法
7.1.1 知識圖譜技術系統
7.1.2 案例：建構知識圖譜
7.2 知識圖譜與多模態資料融合
7.2.1 融合的優勢及應用方向
7.2.2 案例：建構基於多模態知識圖譜的多標籤預測模型
7.3 知識圖譜推理與分析
7.3.1 推理與分析方法介紹
7.3.2 案例：基於圖神經網路的知識圖譜給使用者推薦電影
7.4 知識圖譜資料分析的企業級拓展應用
7.4.1 使用者傳播路徑
7.4.2 使用者搜尋觀星台
7.4.3 使用者關係網路及健康度評估
7.5 小結
第8章 基於大模型的多模態資料分析
8.1 大模型概述
8.1.1 大模型的定義與特點
8.1.2 大模型的基本原理
8.1.3 大模型在多模態資料分析中的重要作用
8.2 大模型應用架構
8.2.1 業務架構
8.2.2 技術架構
8.2.3 技術路線選擇
8.3 大模型在多模態資料分析中的應用
8.3.1 大模型協助多模態資料處理
8.3.2 大模型協助多模態資料融合
8.3.3 大模型協助多模態資料分析
8.4 GPT 與 DeepSeek：多模態資料分析領域的交鋒
8.4.1 GPT：多模態先驅，當下實力究竟幾何
8.4.2 DeepSeek：新晉黑馬，突破重圍有何獨特優勢
8.4.3巔峰對壘：GPT 與 DeepSeek 多模態資料分析比拼
8.5 小結
第9章 實戰案例：挖掘肺部病變，賦能精準醫療
9.1 多模態資料分析在醫療領域的發展和應用現狀
9.2 肺部病變辨識的背景介紹
9.3 肺部病變辨識的實踐過程
9.3.1 CT 影像資料前置處理
9.3.2 使用TensorFlow 架設 CNN 模型
9.3.3 使用模型辨識疑似病灶影像
9.4 小結
第10章 實戰案例：剖析疾病資料，助力早期篩檢
10.1 疾病早篩資料前置處理
10.2 建立重大疾病預測模型
10.3 疾病早篩實際業務過程和價值預估
10.4 小結
第11章 實戰案例：聚焦直播高光時刻，推動話題製造
11.1 直播資料特點
11.2 直播資料回饋
11.3 視覺內容辨識
11.4 彈幕評論解析
11.5 音訊情感分析
11.6 協作確定直播高光時刻
11.7 小結
第12章 實戰案例：解析優質影片，汲取創作靈感
12.1 短影音資料特點
12.2 使用多模態大模型做影片分析的優勢和侷限性
12.3 從影片內容前置處理到靈感孵化
12.4 資料驅動的靈感閉環
12.5 小結
