高能效類腦智能:算法與體系架構 Learning in Energy-Efficient Neuromorphic Computing: Algorithm and Architecture Co-Design

Pinaki Mazumder 劉佩林

買這商品的人也買了...

商品描述

本書主要關注如何構建高能效具有學習能力的脈衝型神經元網絡硬件,
並且提供建立具有學習能力的脈衝型神經元網絡硬件協同設計、協同優化方法。
完整地描述從高級算法到底層硬件實現的細節。
本書同樣涵蓋了脈衝型神經元網絡中的許多基礎知識和關鍵點。
本書從對脈衝型神經元網絡的概述開始,討論基於速率的人工神經網絡的應用和訓練,
介紹實現神經網絡的多種方法,如通用處理器和專用硬件,數字加速器和模擬加速器。
同時展示了一個為能適應神經網絡動態編程而建立的高能效加速器,
驗證脈衝神經網絡的基礎概念和流行的學習算法,簡介脈衝神經網絡硬件。
後面的章節為讀者介紹三個實現前述章節學習算法的設計案例
(兩個基於傳統CMOS工藝,一個基於新興的納米工藝)。
本書的結尾對脈衝型神經元網絡硬件進行總結與展望。

作者簡介

劉佩林

1965年9月生人,上海交通大學電子信息與電氣工程學院教授,
博士生導師。研究領域包括音視頻、3D信號處理與智能分析;
面向機器人的環境感知,人機交互,定位與導航;邊緣計算等。
自2017年起,任上海交通大學類腦智能應用技術研究中心主任。

目錄大綱

譯者序
前言
致謝
第1章概述1
1.1神經網絡的歷史1
1.2軟件中的神經網絡2
1.2.1人工神經網絡2
1.2.2脈衝神經網絡2
1.3神經形態硬件的需求3
1.4本書的目標和大綱4
參考文獻6

第2章人工神經網絡的基礎與學習9
2.1人工神經網絡的工作原理9
2.1.1推理9
2.1.2學習10
2.2基於神經網絡的機器學習13
2.2.1監督學習13
2.2. 2強化學習15
2.2.3無監督學習17
2.2.4案例研究:基於動作的啟發式動態規劃18
2.3網絡拓撲24
2.3.1全連接神經網絡24
2.3.2卷積神經網絡25
2.3.3循環神經網絡27
2.4數據集和基準29
2.5深度學習31
2.5.1前深度學習時代31
2.5.2深度學習的崛起31
2.5.3深度學習技術32
2.5.4深度神經網絡示例38
參考文獻40

第3章硬件中的人工神經網絡47
3.1概述47
3.2通用處理器48
3.3數字加速器48
3.3.1數字ASIC實現方法48
3.3.2 FPGA加速器61
3.4模擬/混合信號加速器62
3.4.1傳統集成技術中的神經網絡62
3.4.2基於新興非易失性存儲器的神經網絡68
3.4.3光學加速器71
3.5案例研究:一種節能的自適應動態規劃加速器的程序設計72
3.5.1硬件架構73
3.5.2設計示例78
參考文獻82

第4章脈衝神經網絡的工作原理與學習92
4.1脈衝神經網絡92
4.1.1常見的脈衝神經元模型92
4.1.2信息編碼94
4.1.3脈衝神經元與非脈衝神經元的比較95
4.2淺層SNN的學習96
4.2.1 ReSuMe96
4.2.2 Tempotron97
4.2.3脈衝時間相關可塑性98
4.2.4雙層神經網絡中通過調製權重依賴的STDP進行學習的方法101
4.3深度SNN學習113
4.3.1 SpikeProp113
4.3.2淺層網絡棧113
4.3.3 ANN的轉換115
4.3.4深度SNN反向傳播的研究進展116
4.3.5在多層神經網絡中通過調製權重依賴的STDP進行學習的方法116
參考文獻128

第5章脈衝神經網絡的硬件實現133
5.1對專用硬件的需求133
5.1.1地址事件表示133
5.1.2事件驅動計算134
5.1.3漸進精度推理134
5.1.4實現權重依賴的STDP學習規則的硬件注意事項138
5.2數字脈衝神經網絡142
5.2.1大規模脈衝神經網絡專用集成電路142
5.2.2中小型數字脈衝神經網絡147
5.2.3脈衝神經網絡中的硬件友好型強化學習149
5.2.4多層脈衝神經網絡中的硬件友好型監督學習153
5.3模擬/混合信號脈衝神經網絡161
5.3.1基本構建塊161
5.3.2大規模模擬/混合信號CMOS脈衝神經網絡163
5.3.3其他模擬/混合信號CMOS脈衝神經網絡專用集成電路166
5.3.4基於新興納米技術的脈衝神經網絡166
5.3.5案例研究:脈衝神經網絡中基於憶阻器交叉開關的學習169
參考文獻183

第6章總結190
6.1展望190
6.1 .1腦啟發式計算190
6.1.2新興的納米技術191
6.1.3神經形態系統的可靠計算192
6.1.4人工神經網絡和脈衝神經網絡的融合193
6.2結論194
參考文獻194
附錄197
術語表205