大語言模型與商業數據分析

"陳琨深圳大學管理學院“百人計劃”教授、博士生導師，廣東省自然科學基金傑青項目獲得者（2024）。兼任Decision Support Systems副主編，國際信息系統學術會議（2021—2026）副編輯，國際智慧金融峰會程序主席（2018、2021、2022、2026）。主要研究領域為數據科學、人工智能以及信息經濟。作為項目負責人，主持國家自然科學基金重點項目、重大研究計劃項目、面上項目，以及青年項目各1項。在Information Systems Research、Journal of Operations Management、Production and Operations Management、INFORMS Journal on Computing等國際主流學術期刊發表SCI/SSCI論文40余篇。講授“金融科技與服務”“大模型與量化分析”等課程；曾獲廣東省第十屆哲學社會科學優秀成果獎二等獎、2021年中國信息經濟學優秀成果獎。"

----------------------- Page 1-----------------------

第1章　 緒論 …………………………………………………………………………1 

   1.1　 人工智能發展歷史 ……………………………………………………………2 

   　 1.1.1　 人工智能的起源 …………………………………………………………2 

   　 1.1.2　 人工智能的發展歷程 ……………………………………………………3 

   1.2　 人工智能驅動的商業全景 ……………………………………………………9 

   　 1.2.1　 人工智能在商業領域的廣泛應用以及新興商業模式…………………10 

   　 1.2.2　 人工智能的商業價值:機遇與挑戰……………………………………11 

   1.3　 人工智能在商業數據分析中的應用…………………………………………12 

   　 1.3.1　 人工智能在金融與會計領域的應用……………………………………12 

   　 1.3.2　 人工智能在營銷、廣告和客戶關系管理中的應用……………………17 

   　 1.3.3　 人工智能在人力資源管理中的應用……………………………………20 

   　 1.3.4　 人工智能在生產運營管理中的應用……………………………………27 

   1.4　 本章小結………………………………………………………………………33 

   1.5　 復習思考題……………………………………………………………………34 

   1.6　 即測即練………………………………………………………………………34 

第2章　 神經網絡與深度學習……………………………………………………35 

   2.1　 神經網絡模型…………………………………………………………………36 

   　 2.1.1　 神經網絡模型基礎………………………………………………………37 

   　 2.1.2　 激活函數…………………………………………………………………41 

   　 2.1.3　 神經網絡模型的訓練……………………………………………………42 

   2.2　 深度神經網絡…………………………………………………………………45 

   　 2.2.1　 深度神經網絡基礎………………………………………………………46 

                                                                            Ⅲ 

----------------------- Page 2-----------------------

   　 2.2.2　 卷積神經網絡……………………………………………………………46 

   　 2.2.3　 循環神經網絡……………………………………………………………65 

   　 2.2.4　 深度神經網絡的訓練……………………………………………………84 

   2.3　 深度強化學習…………………………………………………………………85 

   　 2.3.1　 強化學習的概念…………………………………………………………85 

   　 2.3.2　 深度強化學習的學習原理………………………………………………87 

   　 2.3.3　 深度強化學習分類………………………………………………………88 

   2.4　 本章小結 ……………………………………………………………………106 

   2.5　 復習思考題 …………………………………………………………………106 

   2.6　 即測即練 ……………………………………………………………………107 

第3章　 多模態數據的表征與融合方法………………………………………108 

   3.1　 多模態數據基礎概念 ………………………………………………………109 

   　 3.1.1　 模態 ……………………………………………………………………109 

   　 3.1.2　 多模態 …………………………………………………………………111 

   　 3.1.3　 多模態學習 ……………………………………………………………112 

   3.2　 多模態數據特征及特征表示方法 …………………………………………114 

   　 3.2.1　 圖像數據特征及特征表示方法 ………………………………………115 

   　 3.2.2　 文本數據特征及特征表示方法 ………………………………………120 

   　 3.2.3　 音頻數據特征及特征表示方法 ………………………………………126 

   　 3.2.4　 視頻數據特征及特征表示方法 ………………………………………128 

   　 3.2.5　 代碼示例 ………………………………………………………………129 

   3.3　 多模態數據融合方法 ………………………………………………………134 

   　 3.3.1　 早期融合方法 …………………………………………………………134 

   　 3.3.2　 晚期融合方法 …………………………………………………………136 

   　 3.3.3　 混合融合方法 …………………………………………………………138 

   　 3.3.4　 代碼示例 ………………………………………………………………139 

   3.4　 本章小結 ……………………………………………………………………143 

   3.5　 復習思考題 …………………………………………………………………143 

   3.6　 即測即練 ……………………………………………………………………143 

Ⅳ 

----------------------- Page 3-----------------------

第4章　 大語言模型………………………………………………………………144 

   4.1　 大語言模型基礎知識 ………………………………………………………145 

   　 4.1.1　 大語言模型架構 ………………………………………………………145 

   　 4.1.2　 生成式預訓練語言模型GPT …………………………………………158 

   　 4.1.3　 大語言模型發展 ………………………………………………………164 

   4.2　 大語言模型微調 ……………………………………………………………166 

   　 4.2.1　 微調與預訓練 …………………………………………………………166 

   　 4.2.2　 微調的過程及核心原理 ………………………………………………166 

   　 4.2.3　 全參數微調 ……………………………………………………………167 

   　 4.2.4　 高效參數微調 …………………………………………………………169 

   4.3　 大語言模型的商業應用 ……………………………………………………175 

   　 4.3.1　 多模態數據分析 ………………………………………………………175 

   　 4.3.2　 思維鏈提示 ……………………………………………………………177 

   　 4.3.3　 Agent……………………………………………………………………180 

   4.4　 本章小結 ……………………………………………………………………181 

   4.5　 復習思考題 …………………………………………………………………181 

   4.6　 即測即練 ……………………………………………………………………181 

第5章　 模型評估和可解釋性 …………………………………………………182 

   5.1　 模型局限性 …………………………………………………………………183 

   　 5.1.1　 模型總誤差、偏差和方差 ……………………………………………183 

   　 5.1.2　 過擬合和欠擬合 ………………………………………………………184 

   　 5.1.3　 大模型的錯誤和偏見 …………………………………………………186 

   5.2　 模型評估指標 ………………………………………………………………189 

   　 5.2.1　 商業決策問題分類 ……………………………………………………189 

   　 5.2.2　 面向決策問題的模型評估指標 ………………………………………190 

   　 5.2.3　 代碼展示 ………………………………………………………………193 

   5.3　 模型可解釋性 ………………………………………………………………199 

   　 5.3.1　 模型可解釋性的含義 …………………………………………………199 

   　 5.3.2　 模型可解釋性的分類 …………………………………………………199 

   　 5.3.3　 模型可解釋性方法 ……………………………………………………202 

                                                                            Ⅴ 

----------------------- Page 4-----------------------

   　 5.3.4　 模型簡化方法 …………………………………………………………205 

   　 5.3.5　 代碼演示 ………………………………………………………………207 

   5.4　 本章小結 ……………………………………………………………………215 

   5.5　 復習思考題 …………………………………………………………………215 

   5.6　 即測即練 ……………………………………………………………………215 

第6章　 基於大語言模型的商業數據分析案例 ……………………………216 

   6.1　 案例1:使用大語言模型預測股票價格 …………………………………216 

   　 6.1.1　 案例背景 ………………………………………………………………216 

   　 6.1.2　 數據收集與準備 ………………………………………………………217 

   　 6.1.3　 大語言模型情緒分類 …………………………………………………219 

   　 6.1.4　 構建情緒特征 …………………………………………………………221 

   　 6.1.5　 構造技術指標特征 ……………………………………………………222 

   　 6.1.6　 將情緒特征與技術指標特征結合用於股票價格預測 ………………224 

   　 6.1.7　 案例總結 ………………………………………………………………227 

   6.2　 案例2:電商平臺客戶評論的多模態話題分析 …………………………228 

   　 6.2.1　 案例背景 ………………………………………………………………228 

   　 6.2.2　 數據收集與準備 ………………………………………………………228 

   　 6.2.3　 主體建模與大模型命名 ………………………………………………229 

   　 6.2.4　 多標簽話題識別與情緒判定 …………………………………………231 

   　 6.2.5　 聚類、摘要與可視化輸出 ……………………………………………232 

   　 6.2.6　 多模態一致性分析與圖文沖突識別 …………………………………233 

   　 6.2.7　 案例總結 ………………………………………………………………235 

   6.3　 案例3:社交媒體平臺的內容推薦 ………………………………………236 

   　 6.3.1　 案例背景 ………………………………………………………………236 

   　 6.3.2　 數據設計與預處理 ……………………………………………………236 

   　 6.3.3　 模型結構 ………………………………………………………………237 

   　 6.3.4　 模型微調 ………………………………………………………………238 

   　 6.3.5　 案例總結 ………………………………………………………………240 

   6.4　 本章小結 ……………………………………………………………………240 

參考文獻 ………………………………………………………………………………241 

Ⅵ