ChatGPT 原理，從 PyTorch 中的 NLP 功能讓你一腳跨入自然語言

●打不過AI就加入他！建立自己的GPT產品

●手刻ChatGPT從NLP基礎開始

●PyTorch親手打造RNN、LSTM、GRU、BERT、GPT

●Attention、Transformer詳解

●用GPT做出自動詩詞創作平台

 

全書分為4篇：「自然語言處理基礎篇」「PyTorch入門篇」「用PyTorch完成自然語言處理任務篇」和「實戰篇」。

第1篇包含自然語言處理的背景知識、常用的開放資源、架設Python環境以及使用Python完成自然語言處理的基礎任務。

第2篇包含PyTorch環境設定和PyTorch的基本使用，以及機器學習的一些基本原理和工作方法。

第3篇介紹如何使用PyTorch完成自然語言處理任務，各介紹一種模型，包括分詞(又稱斷詞)、RNN、詞嵌入、Seq2seq、注意力機制、Transformer、預訓練語言模型。

第4篇是實戰篇，第分別講解自然語言理解的任務和自然語言生成的任務，即「中文地址解析」和「詩句補充」。這兩個任務綜合了前面各章的知識，並展示了從資料下載、處理、模型到使用者互動介面開發的全部流程。

從入門到專案實戰，打下你在NLP這一門最紅技術上的紮實基礎。

 

☘ 目標讀者

■ 有一定程式設計基礎的電腦同好。

■ 希望學習機器學習和自然語言處理的人。

■ 電腦及其相關專業的學生。

■ 對自然語言處理領域感興趣的研究者。

■ 對自然語言處理感興趣並樂於實踐的人。

孫小文
畢業於北京郵電大學計算機學院(國家示範性軟件學院)，目前就職於微軟(中國)，研究領域包括自然語言處理、分佈式存儲和計算、搜索技術。

王薪宇
畢業於北京郵電大學計算機學院(國家示範性軟件學院)，曾在知名互聯網公司工作，主要研究領域為自然語言處理。

楊談
北京郵電大學計算機學院(國家示範性軟件學院)副教授，作為主研人或項目負責人參與了多個國家項目和企業合作項目。

1. 第1篇 自然語言處理基礎篇

第1章 自然語言處理概述

1.1 什麼是自然語言處理

1.2 自然語言處理中的挑戰

1.3 自然語言處理中的常用技術

1.4 機器學習中的常見問題

1.5 小結

第2章 Python自然語言處理基礎

2.1 架設環境

2.2 用Python處理字串

2.3 用Python處理語料

2.4 Python的一些特性

2.5 在Python中呼叫其他語言

2.6 小結

第2篇 PyTorch入門篇

第3章 PyTorch介紹

3.1 概述

3.2 與其他框架的比較

3.3 PyTorch環境設定

3.4 Transformers簡介及安裝

3.5 Apex簡介及安裝

3.6 小結

第4章 PyTorch基本使用方法

4.1 張量的使用

4.2 使用torch.nn

4.3 啟動函式

4.4 損失函式

4.5 最佳化器

4.6 資料載入

4.7 使用PyTorch實作邏輯回歸

4.8 TorchText

4.9 使用TensorBoard

4.10 小結
第5章 熱身：使用字元級RNN分類發文

5.1 資料與目標

5.2 輸入與輸出

5.3 字元級RNN

5.4 資料前置處理

5.5 訓練與評估

5.6 儲存和載入模型

5.7 開發應用

5.8 小結

第3篇 用PyTorch完成自然語言處理任務篇

第6章 分詞問題

6.1 中文分詞

6.2 分詞原理

6.3 使用協力廠商工具分詞

6.4 實踐

6.5 小結

第 7 章 RNN

7.1 RNN的原理

7.2 PyTorch中的RNN

7.3 RNN可以完成的任務

7.4 實踐：使用PyTorch附帶的RNN完成發文分類

7.5 小結

第8章 詞嵌入

8.1 概述

8.2 Word2vec

8.3 GloVe

8.4 實踐：使用預訓練詞向量完成發文標題分類

8.5 小結

第9章 Seq2seq

9.1 概述

9.2 使用PyTorch實作Seq2seq

9.3 實踐：使用Seq2seq完成機器翻譯任務

9.4 小結

第10章 注意力機制

10.1 注意力機制的起源

10.2 使用注意力機制的視覺循環模型

10.3 Seq2seq中的注意力機制

10.4 自注意力機制

10.5 其他注意力機制

10.6 小結

第11章 Transformer

11.1 Transformer的背景

11.2 以卷積網路為基礎的Seq2seq

11.3 Transformer的結構

11.4 Transformer的改進

11.5 小結

第12章 預訓練語言模型

12.1 概述

12.2 ELMo

12.3 GPT

12.4 BERT

12.5 Hugging Face Transformers

12.6 其他開放原始碼中文預訓練模型

12.7 實踐：使用Hugging Face Transformers中的BERT做發文標題分類

12.8 小結

第4篇 實戰篇

第13章 專案：中文地址解析

13.1 資料集

13.2 詞向量

13.3 BERT

13.4 HTML5演示程式開發

13.5 小結

第14章 專案：詩句補充

14.1 了解chinese-poetry資料集

14.2 準備訓練資料

14.3 實作基本的LSTM

14.4 根據句子長度分組

14.5 使用預訓練詞向量初始化 Embedding層

14.6 使用Transformer完成詩句生成

14.7 使用GPT-2完成對詩模型

14.8 開發HTML5演示程式

14.9 小結

 

參考文獻