Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造

肖桐、朱靖波 著

  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-1
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-2
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-3
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-4
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-5
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-6
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-7
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-8
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-9
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-10
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-11
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-12
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-13
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-14
  • Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-15
Google 翻譯實作:機器翻譯 NLP 基礎及模型親手打造-preview-1

買這商品的人也買了...

商品描述

Google翻譯像空氣一樣自然的存在時,我們仿佛忘了機器翻譯走了幾百年,篳路藍縷有多麼的艱辛。身為使用者在享受這些科技的成果時,技術人員則更好奇些神奇應用底層的科學是如何發展出來的。熟悉史丹佛CS224n NLP課程的人,一定對大師Chris Manning對機器翻譯的重點十分讚嘆。本書就是堪比大師NLP和機器翻譯的真正鉅作。從機器翻譯的歷史、數學原理、理論細節、實作理論、參考資源、最新發展、從最細節到最宏觀的高度都放入書中。NLPAI上皇冠上的一個明珠,機器翻譯更是最能展現NLP技術的極緻精華。從事NLP的技術人員、資料科學家、神經網路演算法科學家,如果想要真正進入NLP的世界,本書將會是20年來最重要,最完整、最能精進技術的一個重要提升。

 

本書特色

機器翻譯簡介

說明了從理性主義一直進入到資料主義的過程。接下來說明統計語言建模的基礎,進一步進入詞法語法分析的原理,其中並穿插了翻譯品質的評鑑標準。

 

統計機器翻譯

介紹了以詞、扭曲度、繁衍度、短語、句法為基礎的機器翻譯原理及實作。

 

近代機器翻譯的新世代 – 神經機器翻譯

介紹了神經網路及神經語言的建模、循環神經網路模型、卷積神經網路模型及自注意力機制的模型。

 

神經翻譯系統的細節

包括模型訓練及最佳化,模型的推論,更有針對神經網路系統的結構精進,以及使用低資源的神經網路(如資料蒸餾),以及多模態、多層次的機器翻譯,也介紹了新一代神經網路的應用及發展。

 

本書技術重點

理性主義及資料主義

統計語言建議

詞法/語法分析,以機率圖/分類器模型

科學方法評估翻譯品質

以詞、扭曲度/繁衍度、短語、句法模型的翻譯方法

Google大殺器:神經機器翻譯建模

循環神經網路模型/注意力機制,卷積神經網路模型

Transformer,自注意力機制

神經網路翻譯模型訓練/推論/結構最佳化

小型裝置上的神經網路機器翻譯

多模態/多層次機器翻譯

當代機器翻譯的應用及佈署

作者簡介

肖桐
博士,東北大學教授、博士生導師,東北大學計算機學院人工智能係系主任,
東北大學自然語言處理實驗室主任,小牛翻譯(NiuTrans)聯合創始人。
於東北大學計算機專業獲得博士學位。
2006-2009年赴日本富士施樂、微軟亞洲研究院訪問學習,
並於2013一2014年赴英國劍橋大學開展博士後研究。
主要研究領域包括自然語言處理、機器學習等。
在國內外相關領域高水平會議及期刊上發表學術論文70餘篇。
作為項目技術負責人,成功研發了NiuTrans、NiuTensor等開源系統,
在WMT、CCMT/CWMT、NTCIR等國內外評測中多次獲得冠軍。
2014年獲得中國中文信息學會首屆優秀博士論文提名獎,
2016年獲得中國中文信息學會“錢偉長中文信息處理科學技術獎”一等獎。
任ACL、EMNLP、TACL等國際著名會議及期刊的領域主席和常駐審稿人。

朱靖波
博士,東北大學教授、博士生導師,小牛翻譯創始人。 於東 北大學計算機專業獲得博士學位,曾在香港城市大學 (2004-2005年)和美國南加州大學ISI(2006-2007 年)開展訪問研究。 從1992年開始,專注於語言分析和機器 翻譯技術研究工作,在國內外高水平會議及期刊上發表學術 論文200餘篇,2005年入選國家教育部新世紀優秀人才計 劃,2016年獲得中國中文資訊學會"錢偉長中文資訊處理科 學技術獎"一等獎。

目錄大綱

1部分 機器翻譯基礎

01 機器翻譯簡介

1.1 機器翻譯的概念

1.2 機器翻譯簡史

1.3 機器翻譯現狀及挑戰

1.4 基於規則的機器翻譯方法

1.5 資料驅動的機器翻譯方法

1.6 推薦學習資源

02 統計語言建模基礎

2.1 機率論基礎

2.2 擲骰子遊戲

2.3 n-gram 語言模型

2.4 預測與搜索

2.5 小結及拓展閱讀

03 詞法分析和語法分析基礎

3.1 問題概述

3.2 中文分詞

3.3 命名實體辨識

3.4 句法分析

3.5 小結及拓展閱讀

04 翻譯品質評價

4.1 譯文品質評價面臨的挑戰

4.2 人工評價

4.3 有參考答案的自動評價

4.4 無參考答案的自動評價

4.5 小結及拓展閱讀

 

2部分 統計機器翻譯

05 基於詞的機器翻譯建模

5.1 詞在翻譯中的作用

5.2 一個簡單實例

5.3 雜訊通道模型

5.4 統計機器翻譯的3個基本問題

5.5 IBM 模型1

5.6 小結及拓展閱讀

06 基於扭曲度和繁衍率的模型

6.1 基於扭曲度的模型

6.2 基於繁衍率的模型

6.3 解碼和訓練

6.4 問題分析

6.5 小結及拓展閱讀

07 基於短語的模型

7.1 翻譯中的短語資訊

7.2 數學建模

7.3 短語取出

7.4 翻譯調序建模

7.5 翻譯特徵

7.6 最小錯誤率訓練

7.7 堆疊解碼

7.8 小結及拓展閱讀

08 基於句法的模型

8.1 翻譯中句法資訊的使用

8.2 基於層次短語的模型

8.3 基於語言學句法的模型

8.4 小結及拓展閱讀

 

3部分 神經機器翻譯

09 神經網路和神經語言建模

9.1 深度學習與神經網路

9.2 神經網路基礎

9.3 神經網路的張量實現

9.4 神經網路的參數訓練

9.5 神經語言模型

9.6 小結及拓展閱讀

10 基於循環神經網路的模型

10.1 神經機器翻譯的發展簡史

10.2 編碼器- 解碼器框架

10.3 基於循環神經網路的翻譯建模

10.4 注意力機制

10.5 訓練及推斷

10.6 小結及拓展閱讀

11 基於卷積神經網路的模型

11.1 卷積神經網路

11.2 基於卷積神經網路的翻譯建模

11.3 局部模型的改進

11.4 小結及拓展閱讀

12 基於自注意力的模型

12.1 自注意力機制

12.2 Transformer 模型

12.3 位置編碼

12.4 基於點乘的多頭注意力機制

12.5 殘差網路和層標準化

12.6 前饋全連接網路子層

12.7 訓練

12.8 推斷

12.9 小結及拓展閱讀

 

4部分 機器翻譯前端

13 神經機器翻譯模型訓練

13.1 開放詞表

13.2 正則化

13.3 對抗樣本訓練

13.4 學習策略

13.5 知識蒸餾

13.6 基於樣本價值的學習

13.7 小結及拓展閱讀

14 神經機器翻譯模型推斷

14.1 面臨的挑戰

14.2 基本問題

14.3 輕量模型

14.4 非自回歸翻譯

14.5 多模型整合

14.6 小結與拓展閱讀

15 神經機器翻譯模型結構最佳化

15.1 注意力機制的改進

15.2 神經網路連接最佳化及深層模型

15.3 基於句法的神經機器翻譯模型

15.4 基於結構搜索的翻譯模型最佳化

15.5 小結及拓展閱讀

16 低資源神經機器翻譯

16.1 資料的有效使用

16.2 雙向翻譯模型

16.3 多語言翻譯模型

16.4 無監督機器翻譯

16.5 領域適應

16.6 小結及拓展閱讀

17 多模態、多層次機器翻譯

17.1 機器翻譯需要更多的上下文

17.2 語音翻譯

17.3 圖型翻譯

17.4 篇章級翻譯

17.5 小結及拓展閱讀

18 機器翻譯應用技術

18.1 機器翻譯的應用並不簡單

18.2 增量式模型最佳化

18.3 互動式機器翻譯

18.4 翻譯結果的可干預性

18.5 小裝置機器翻譯

18.6 機器翻譯系統的部署

18.7 機器翻譯的應用場景

隨筆

後記

A

A.1 統計機器翻譯開放原始碼系統

A.2 神經機器翻譯開放原始碼系統

B

B.1 公開評測任務

B.2 基準資料集

B.3 平行語料

C

C.1 IBM 模型2 的訓練方法

C.2 IBM 模型3 的訓練方法

C.3 IBM 模型4 的訓練方法

C.4 IBM 模型5 的訓練方法

D 參考文獻

E 索引