資料才是王道 - LLM 的智慧來源原理技術實戰

何聰輝

清華大學博士，上海人工智能實驗室青年科學家、大模型資料負責人，商湯科技資深研究總監，入選第五屆「上海科技青年35人引領計劃」。長期投入高效能運算與 AI 資料基礎設施的跨領域研究，致力於建構通用人工智慧所需的資料基礎。

在資訊科學學術會議發表論文逾 200 篇，Google 學術搜尋引用次數超過 1 萬次，曾獲戈登．貝爾獎、ACL 2025 最佳主題論文獎等多項榮譽。

主導研發智慧文件解析引擎 MinerU，推出一年即獲 GitHub 5 萬顆星，呼叫次數超過 10 億次，並獲華為、阿里巴巴、騰訊等上百家企業採用。建立的評測基準 OmniDocBench 獲 Google Gemini 與 OpenAI GPT 官方採用；另建構大模型開放資料平臺 OpenDataLab，服務全球 30 萬名開發者。

吳酈軍

上海人工智能實驗室青年科學家，上海交通大學、復旦大學、北京中關村學院博士生指導教授，入選上海市高層級青年人才計畫。

長期投入大型語言模型、資料智慧及 AI for Science 等前沿研究，在《Nature》系列期刊及資訊科學領域的國際會議發表超過 90 篇論文。

曾擔任 ICML、NeurIPS、ICLR、ACL 等國際會議的領域主席，並擔任 NeurIPS 2026 E&D Track Chair。

曾獲微軟亞洲研究院「微軟學者獎學金」，並以核心團隊成員身分，於 WMT 2019 全球機器翻譯競賽中獲得 8 項冠軍，以及 ACL 2024 Language+Molecule 雙賽道冠軍與亞軍。

所開發的模型與資料集累計下載次數超過 40 萬次，提出的演算法廣泛應用於微軟、騰訊、百度、美團等企業的實際業務。

參與研發文件智慧解析引擎 MinerU、多模態大型模型 InternVL，以及多模態科學大型模型 Intern-S。

發起建置 OpenDataArena 平台，為大型模型時代的資料價值評估提供關鍵技術支援，持續推動前沿技術的產業應用。

張文濤

北京大學研究員、博士生指導教授，上海人工智能實驗室研究顧問，北京大學未名青年學者、圖靈班科研指導教授，智源學者。

曾任職於騰訊機器學習平台部、Apple AIML 及加拿大 Mila 人工智慧實驗室。研究領域包括以資料為核心的人工智慧、機器學習系統及 AI for Science。

主持國家自然科學基金重大研究計畫、科技部重點研發計畫（課題）、教育部學科突破先導計畫（Co-PI）。

近 5 年以第一作者或通訊作者身分，在機器學習（ICML、NeurIPS、ICLR）、資料探勘（SIGKDD、WWW）及資料管理（SIGMOD、VLDB、ICDE）等領域發表超過 100 篇 CCF-A 類論文。

截至 2025 年 12 月，Google 學術引用次數超過 1 萬次。曾榮獲 WWW 2022、APWeb 2023、CIKM 2024 最佳論文獎。

主導或參與多套機器學習系統的開源開發。曾獲 Apple Scholar、世界人工智慧大會雲帆獎、ACM SIGMOD 中國新星獎、世界互聯網大會領先科技成果獎、華為火花獎、中國電子學會科技進步一等獎等榮譽

▍第 1 章 大型語言模型資料概覽

1.1 資料驅動的大型語言模型演進簡史

1.1.1 大型語言模型進化路線

1.1.2 資料的重要性變遷

1.2 大型語言模型資料的生命週期

1.2.1 生命週期總覽

1.2.2 生命週期的三大階段

1.3 大型語言模型資料的四大關鍵維度

1.3.1 知識廣度

1.3.2 智慧精度

1.3.3 泛化能力

1.3.4 新知洞察

1.4 大型語言模型資料生態系統簡述

1.4.1 開放原始碼資料集生態

1.4.2 工具與平臺鏈路

1.4.3 資料治理與倫理邊界

▍第 2 章　大型語言模型訓練所需資料來源

2.1 典型的資料來源

2.1.1 大型語言模型訓練所需核心資料的類型

2.1.2 網路爬取與社群媒體收集

2.1.3 資料共用平臺與協作機制

2.1.4 資料來源挑戰與演變

2.2 典型的公開資料集

2.2.1 預訓練資料集：通用知識建構

2.2.2 微調資料集：任務與領域適配

2.2.3 對齊強化資料集：對齊與價值塑造

2.3 資料取得方式

2.3.1 公共通路擷取

2.3.2 眾包擷取

2.3.3 代理式擷取

2.3.4 模型與模擬生成

▍第 3 章　資料標註與清洗

3.1 從原始資料到高品質語料

3.2 資料清洗：剔除雜訊與冗餘

3.2.1 資料過濾

3.2.2 資料去重

3.3 資料解析：從原始資訊中恢復結構與語義

3.3.1 結構化、半結構化與非結構化資料解析

3.3.2 代表性 OCR 工具

3.4 資料標註：從任務建模到品質保障

3.4.1 資料標註方式與策略系統

3.4.2 資料標註任務分類與系統

3.4.3 資料標註品質保障機制

3.5 小試牛刀

3.5.1 資料解析

3.5.2 資料清洗

3.5.3 資料重寫與增強

▍第 4 章　資料合成與增強

4.1 資料合成與增強的整體框架

4.2 資料合成方法

4.2.1 資料合成方法概述

4.2.2 領域資料合成

4.2.3 多模態資料合成

4.2.4 全模態資料合成

4.2.5 代表性資料合成工具

4.3 資料增強技術

4.3.1 傳統資料增強方法

4.3.2 大型語言模型時代的資料增強

4.4 資料合成與增強的挑戰和風險

4.4.1 資料偏見與幻覺

4.4.2 模型坍縮

4.4.3 資料隱私與安全

▍第 5 章　資料品質評估

5.1 資料品質評估系統

5.1.1 大型語言模型時代資料品質評估的重要性

5.1.2 資料品質的多維框架

5.1.3 資料評估方法的分類

5.2 特定指標導向的評估

5.2.1 資料純淨度與品質評估

5.2.2 資料多樣性評估

5.2.3 資料安全性與偏見評估

5.3 基於模型的評估

5.3.1 基於學習難度的篩選

5.3.2 指令進化與複雜性評估

5.3.3 基於模型偏好的品質排序

5.3.4 模型評估方法對比與選擇

5.4 人工輔助的資料品質評估

5.4.1 人工評估的不可或缺性

5.4.2 人工評估的方法與流程

5.4.3 人工評估在大型語言模型時代的核心角色

5.5 資料價值驗證平臺—— OpenDataArena

5.6 資料價值量化方法

▍第 6 章　資料前沿趨勢展望

6.1 全球大型語言模型資料合規監管趨勢與挑戰

6.1.1 資料合規監管的背景與現狀

6.1.2 全球資料合規監管的主要趨勢與實踐

6.1.3 資料合規監管面臨的挑戰

6.2 大型語言模型訓練資料的版權爭議與合規方案

6.2.1 資料版權爭議焦點

6.2.2 資料版權典型案例

6.2.3 資料版權合規與技術解決方案

6.3 大型語言模型資料安全與隱私保護

6.3.1 資料脫敏與匿名化技術

6.3.2 資料隱私攻擊與防禦機制

6.3.3 綜合性隱私保護趨勢與實踐

6.4 資料與 AI 的協作發展關係

6.4.1 高品質資料加速垂直領域 AI 應用落地

6.4.2 AI 應用促進資料飛輪反哺 AI 發展

▍第 7 章　案例實作——基於 PDF 資料的垂直領域模型能力提升

7.1 案例概述

7.1.1 微調垂直領域模型時，資料層面的常見問題

7.1.2 從 PDF 到訓練資料：整體處理想法

7.2 資料解析：從 PDF 中穩定提取結構化內容

7.2.1 解析任務與輸出形式

7.2.2 文件結構解析

7.2.3 基於佈局的內容精修

7.2.4 批次處理排程與解析流程

7.2.5 解析結果與後續資料建構

7.3 資料治理：將解析結果轉化為可訓練樣本

7.3.1 資料對齊

7.3.2 資料合成與增強

7.3.3 資料處理

7.3.4 視覺化管線編排與偵錯

7.4 資料品質評估：判斷自動建構資料是否「真的可用」

7.4.1 基於大型語言模型的品質評估方法

7.4.2 品質評估虛擬程式碼範例

7.5 微調垂直領域模型

7.5.1 微調：LLaMA-Factory

7.5.2 動態訓練：DataFlex