深度強化學習原理與實踐

陳喆，美國田納西理工大學博士。2003年碩士畢業後在UT斯達康、意法半導體等企業工作多年。2011年博士畢業後在東北大學物聯網工程專業任副教授、碩士研究生導師。曾任東北大學物聯網工程研究所副所長、無錫(濱湖)國家傳感信息中心副主任(掛職)，曾在美國北卡羅來納州立大學訪學。主要研究方向包括物聯網無線通信、機器學習、認知無線電等。講授機器學習、物聯網技術、物聯網通信技術、無線傳感網絡概論、無線傳感網絡實驗、創業基礎、創新創業活動、High-Performance Embedded System Design等課程。編著《物聯網無線通信原理與實踐》。多次被學生評選為“我最喜愛的老師”，所負責的課程多次被學生評選為“我最喜愛的專業課程”。

目錄

 

 

第1章引言1

1.1深度強化學習及其簡史1

1.2深度強化學習的應用領域3

1.3深度強化學習方法的實現4

1.3.1NumPy庫和Matplotlib庫4

1.3.2PyTorch框架7

1.4本章實驗解析11

1.5本書各章聯系14

1.6本章小結14

1.7思考與練習15

 

第2章從神經網絡到深度學習16

2.1神經網絡回顧16

2.1.1神經網絡的推測過程17

2.1.2神經網絡的訓練過程18

2.1.3神經網絡實踐23

2.2從神經網絡到深度神經網絡26

2.3深度神經網絡29

2.3.1深度神經網絡的推測過程29

2.3.2深度神經網絡的訓練過程30

2.3.3反向模式自動微分34

2.3.4深度神經網絡實踐及分析35

2.4捲積神經網絡37

2.4.1捲積層和合並層38

2.4.2捲積神經網絡實踐41

2.5循環神經網絡42

2.6本章實驗解析45

2.7本章小結51

2.8思考與練習52第3章強化學習基礎53

3.1強化學習概述53

3.1.1多老虎機問題53

3.1.2利用與探索57

3.1.3強化學習的要素58

3.2有限馬爾可夫決策過程59

3.2.1狀態與馬爾可夫性59

3.2.2什麼是有限馬爾可夫決策過程60

3.2.3收益與策略63

3.3求解MDP65

3.3.1貝爾曼方程與貝爾曼最優方程65

3.3.2價值疊代69

3.3.3策略評估74

3.3.4策略疊代77

3.3.5廣義策略疊代82

3.4本章實驗解析85

3.5本章小結90

3.6思考與練習90

 

深度強化學習原理與實踐目錄第4章行動價值方法92

4.1行動價值與最優行動價值92

4.1.1行動價值92

4.1.2最優行動價值96

4.2蒙特卡洛方法99

4.3Q學習107

4.4DynaQ114

4.5使用監督學習方法推測最優行動價值的極限值118

4.6使用深度神經網絡推測最優行動價值的極限值124

4.7本章實驗解析129

4.8本章小結136

4.9思考與練習136

 

第5章策略梯度方法138

5.1策略梯度基本方法138

5.2蒙特卡洛策略梯度方法142

5.2.1各個行動的蒙特卡洛策略梯度方法142

5.2.2單個行動的蒙特卡洛策略梯度方法147

5.2.3平移的蒙特卡洛策略梯度方法149

5.3行動評價方法154

5.4不完全觀測160

5.5本章實驗解析163

5.6本章小結168

5.7思考與練習169

 

附錄A實驗參考程序及註釋171

 

參考文獻231