神經網絡與深度學習

本書是深度學習領域的入門教材，系統地整理了深度學習的知識體系，
並由淺入深地闡述了深度學習的原理、模型以及方法，
使得讀者能全面地掌握深度學習的相關知識，並提高以深度學習技術來解決實際問題的能力。
全書共15章，分為三個部分。

·第一部分為機器學習基礎：第1章是緒論，介紹人工智能、
機器學習、深度學習的概要，使讀者全面瞭解相關知識；
第2~3章介紹機器學習的基礎知識。

·第二部分是基礎模型：第4～6章分別講述三種主要的神經網絡模型：
前饋神經網絡、捲積神經網絡和循環神經網絡；第7章介紹神經網絡的優化與正則化方法；
第8章介紹神經網絡中的註意力機制和外部記憶；第9章簡要介紹一些無監督學習方法；
第10章介紹一些模型獨立的機器學習方法，包括集成學習、自訓練、協同訓練、
多任務學習、遷移學習、終身學習、元學習等。

·第三部分是進階模型：第11章介紹概率圖模型的基本概念，為後面的章節進行鋪墊；
第12章介紹兩種早期的深度學習模型：玻爾茲曼機和深度信念網絡；
第13章介紹深度生成模型，包括變分自編碼器和生成對抗網絡；
第14章介紹深度強化學習；第15章介紹應用十分廣泛的序列生成模型。

本書可作為高等院校人工智能、計算機、自動化、
電子和通信等相關專業的研究生或本科生教材，也可供相關領域的研究人員和工程技術人員參考。

本書還配備了教學PPT、編程練習以及課後習題的討論，

獲取方式：

1.微信關註“華章計算機”（微信號：hzbook_jsj）

2.在後台回復關鍵詞:蒲公英書

邱錫鵬

復旦大學計算機科學技術學院教授、博士生導師，於復旦大學獲得理學學士和博士學位。
主要研究領域包括自然語言處理、機器學習、深度學習等，在相關領域的權威國際期刊、
會議上發表學術論文60餘篇，獲得計算語言學國際會議ACL 2017傑出論文獎、
全國計算語言學會議CCL 2019最佳論文獎，2015年入選首屆中國科協青年人才托舉工程，
2018年獲得中國中文信息學會“錢偉長中文信息處理科學技術獎青年創新一等獎”，
入選由“清華—中國工程院知識智能聯合研究中心和清華大學人工智能研究院”
聯合發布的2020年人工智能（AI）全球具影響力學者提名。
該排名參考過去十年人工智能各子領域最有影響力的會議和期刊發表論文的引用情況，
排名前10的學者當選該領域當年影響力學者獎，排名前100的其他學者獲影響力學者提名獎。
作為項目負責人開源發布了兩個自然語言處理開源系統FudanNLP和FastNLP，獲得了學術界和產業界的廣泛使用。
目前擔任中國中文信息學會青年工作委員會執行委員、計算語言學專委會委員、
語言與知識計算專委會委員，中國人工智能學會青年工作委員會常務委員、自然語言理解專委會委員。

序
前言
常用符號表
第1章緒論3
1.1人工智能...............................4
1.2機器學習...............................7
1.3表示學習...............................8
1.4深度學習...............................11
1.5神經網絡...............................13
1.6本書的知識體系...........................17
1.7常用的深度學習框架.........................18
1.8總結和深入閱讀...........................20

第2章機器學習概述23
2.1基本概念...............................24
2.2機器學習的三個基本要素......................26
2.3機器學習的簡單示例——線性回歸.................33
2.4偏差-方差分解............................38
2.5機器學習算法的類型.........................41
2.6數據的特徵表示...........................43
2.7評價指標...............................46
2.8理論和定理..............................49
2.9總結和深入閱讀...........................51

第3章線性模型
3.1線性判別函數和決策邊界......................56
3.2Logistic回歸.............................59
3.3Softmax回歸.............................61
3.4感知器.................................64
3.5支持向量機..............................71
3.6損失函數對比.............................75
3.7總結和深入閱讀...........................76

第二部分基礎模型
第4章前饋神經網絡81
4.1神經元.................................82
4.1.1Sigmoid型函數.......................83
4.1.2ReLU函數..........................86
4.1.3Swish函數..........................88
4.1.4GELU函數..........................89
4.1.5Maxout單元.........................89
4.2網絡結構...............................90
4.3前饋神經網絡.............................91
4.4反向傳播算法.............................95
4.5自動梯度計算.............................98
4.6優化問題...............................103
4.7總結和深入閱讀...........................104

第5章卷積神經網絡109
5.1卷積..................................110
5.2卷積神經網絡.............................115
5.3參數學習...............................120
5.4幾種典型的捲積神經網絡......................121
5.5其他卷積方式.............................127
5.6總結和深入閱讀...........................130

第6章循環神經網絡133
6.1給網絡增加記憶能力.........................134
6.2簡單循環網絡.............................135
6.3應用到機器學習...........................138
6.4參數學習...............................140
6.5長程依賴問題.............................143
6.5.1改進方案...........................144
6.6基於門控的循環神經網絡......................145
6.7深層循環神經網絡..........................149
6.8擴展到圖結構.............................151
6.9總結和深入閱讀...........................153

第7章網絡優化與正則化157
7.1網絡優化...............................157
7.2優化算法...............................160
7.3參數初始化..............................171
7.4數據預處理..............................176
7.5逐層歸一化..............................178
7.6超參數優化..............................183
7.7網絡正則化..............................186
7.8總結和深入閱讀...........................192

第8章註意力機制與外部記憶197
8.1認知神經學中的注意力.......................198
8.2注意力機制..............................199
8.3自註意力模型.............................203
8.4人腦中的記憶.............................205
8.5記憶增強神經網絡..........................207
8.6基於神經動力學的聯想記憶.....................211
8.6.1Hopfiel網絡........................212
8.7總結和深入閱讀...........................215

第9章無監督學習219
9.1無監督特徵學習...........................220
9.2概率密度估計.............................227
9.3總結和深入閱讀...........................232

第10章模型獨立的學習方式235
10.1集成學習...............................235
10.1.1AdaBoost算法........................237
10.2自訓練和協同訓練..........................240
10.3多任務學習..............................242
10.4遷移學習...............................245
10.5終身學習...............................249
10.6元學習.................................252
10.7總結和深入閱讀...........................255

第三部分進階模型
第11章概率圖模型261
11.1模型表示...............................262
11.2學習..................................271
11.3推斷..................................279
11.4變分推斷...............................283
11.5基於採樣法的近似推斷.......................285
11.6總結和深入閱讀...........................292

第12章深度信念網絡297
12.1玻爾茲曼機..............................297
12.2受限玻爾茲曼機...........................304
12.3深度信念網絡.............................309
12.4總結和深入閱讀...........................313

第13章深度生成模型317
13.1概率生成模型.............................318
13.2變分自編碼器.............................319
13.3生成對抗網絡.............................327
13.3.1顯式密度模型和隱式密度模型...............327
13.3.2網絡分解...........................327
13.3.3訓練..............................329
13.3.4一個生成對抗網絡的具體實現：DCGAN..........330
13.3.5模型分析...........................330
13.3.6改進模型...........................333
13.4總結和深入閱讀...........................336

第14章深度強化學習339
14.1強化學習問題.............................340
14.1.1典型例子...........................340
14.1.2強化學習定義........................340
14.1.3馬爾可夫決策過程......................341
14.1.4強化學習的目標函數....................343
14.1.5值函數............................344
14.1.6深度強化學習........................345
14.2基於值函數的學習方法.......................346
14.2.1動態規划算法........................346
14.2.2蒙特卡羅方法........................349
14.2.3時序差分學習方法......................350
14.24深度Q網絡..........................353
14.3基於策略函數的學習方法......................354
14.3.1REINFORCE算法......................356
14.3.2帶基準線的REINFORCE算法...............356
14.4演員-評論員算法...........................358
14.5總結和深入閱讀...........................360

第15章序列生成模型365
15.1序列概率模型.............................366
15.1.1序列生成...........................367
15.2N元統計模型.............................368
15.3深度序列模型.............................370
15.3.1模型結構...........................370
15.3.2參數學習...........................373
15.4評價方法...............................373
15.4.1困惑度............................373
15.4.2BLEU算法..........................374
15.4.3ROUGE算法.........................375
15.5序列生成模型中的學習問題.....................375
15.5.1曝光偏差問題........................376
15.5.2訓練目標不一致問題....................377
15.5.3計算效率問題........................377
15.6序列到序列模型...........................385
15.6.1基於循環神經網絡的序列到序列模型...........386
15.6.2基於注意力的序列到序列模型...............387
15.6.3基於自註意力的序列到序列模型..............388
15.7總結和深入閱讀...........................390
附錄數學基礎393
附錄A 線性代數394
附錄B 微積分404
附錄C 數學優化413
附錄D 概率論420
附錄E 信息論433
索引439