深度學習與音樂生成 Deep Learning Techniques for Music Generation

一、大致內容：本書主要講述了深度學習在音樂生成領域的研究意義、具體方法、方向目標、表現力、挑戰策略、框架融合等，對於表現力與框架融合方面作了更詳細的描述；表現力部分講了深度學習與音樂生成相結合的方式策略、該領域研究結果的評判標準以及交叉知識的具體體現，是本書籍新穎立意的重要部分。二：特色：將音樂生成和深度學習相融合，是一個新穎研究方向，而本書沒有拘泥於使用哪種框架進行實現，而是對比了多種實現方式，提供了多方面的思路，對於後續學者的探究有很強的引導作用。三：讀者對象：本書對於對音樂感興趣的人以及對深度學習前沿方向的學者有好的學習價值，能夠開拓他們的視野，對廣大的音樂和電腦愛好者均有較大的參考價值。

目錄

 

 

第1章引言1

1.1動機2

1.1.1基於電腦的音樂系統2

1.1.2自主創作與輔助創作3

1.1.3符號化人工智能與次符號化人工智能4

1.1.4深度學習4

1.1.5現狀和未來5

1.2這本書是講什麽的5

1.2.1其他書籍和資料來源5

1.2.2其他模型6

1.2.3深度學習與馬爾可夫模型6

1.2.4學習需求和路線圖7

1.2.5本書涉及的範圍8第2章方法9

2.1五個維度9

2.1.1目標9

2.1.2表示9

2.1.3架構9

2.1.4挑戰10

2.1.5策略10

2.2討論10第3章目標11

3.1屬性11

3.1.1音樂類型11

3.1.2目標與應用12

3.1.3生成模式12

3.1.4音樂風格13第4章表示14

4.1數據的階段和類型14

4.2音頻數據與符號化數據15

4.3基於音頻的表示16

4.3.1波形表示16

4.3.2轉換表示17

4.3.3聲音頻譜圖17

4.3.4聲色譜圖17

4.4符號化表示18

4.5主要概念19

4.5.1音符19

4.5.2休止符19

4.5.3音程20

4.5.4和弦20

4.5.5節奏21

4.6多聲部/多軌道22

4.7音樂格式22

4.7.1MIDI格式22

4.7.2鋼琴打孔紙捲格式23

4.7.3文本格式24

4.7.4標記語言26

4.7.5領譜26

4.8時間範圍和粒度28

4.8.1時間範圍28

4.8.2時間粒度29

4.9元數據29

4.9.1音符保持/結束30

4.9.2音名錶示（與異名同音）31

4.9.3特徵提取31

4.10音樂表現力32

4.10.1時間節奏32

4.10.2音樂力度32

4.10.3音頻33

4.11編碼33

4.11.1編碼策略33

4.11.2OneHot、ManyHot及MultiOneHot編碼34

4.11.3編碼小結34

4.11.4Binning35

4.11.5優缺點35

4.11.6和弦36

4.11.7特殊的音符保持與休止符36

4.11.8鼓和打擊樂器37

4.12數據集37

4.12.1移調和對齊37

4.12.2音樂數據集和語料庫38第5章架構39

5.1神經網絡簡介40

5.1.1線性回歸40

5.1.2符號41

5.1.3模型訓練41

5.1.4梯度下降訓練算法42

5.1.5從模型到體系架構43

5.1.6從模型到線性代數表示43

5.1.7從簡單模型到多元模型44

5.1.8激活函數45

5.2基本組件47

5.2.1前饋計算47

5.2.2同時計算多個輸入數據48

5.3機器學習48

5.3.1定義48

5.3.2機器學習分類49

5.3.3組成50

5.3.4優化50

5.4體系架構50

5.5多層神經網絡50

5.5.1抽象表示法51

5.5.2深度52

5.5.3輸出激活函數54

5.5.4代價函數54

5.5.5解釋55

5.5.6熵與交叉熵58

5.5.7前饋傳播60

5.5.8訓練61

5.5.9過擬合61

5.5.10正則化62

5.5.11超參數62

5.5.12平臺和庫63

5.6自動編碼器63

5.6.1稀疏自動編碼器64

5.6.2變分自動編碼器65

5.6.3堆棧式自動編碼器69

5.7受限玻爾茲曼機69

5.7.1訓練70

5.7.2採樣70

5.7.3變量的類型71

5.8遞歸神經網絡71

5.8.1可視表示73

5.8.2訓練73

5.8.3長短時記憶（LSTM）74

5.8.4註意力機制75

5.9捲積架構模式76

5.9.1原理76

5.9.2捲積的階段77

5.9.3池化77

5.9.4多層捲積結構77

5.9.5基於時變的捲積78

5.10基於調控的架構模式78

5.11生成對抗網絡（GAN）體系架構模式80

5.12強化學習82

5.13復合架構83

5.13.1復合的類型83

5.13.2雙向RNN84

5.13.3RNN編碼器解碼器85

5.13.4變分RNN編碼器解碼器86

5.13.5面向復調的循環網絡87

5.13.6進一步的復合架構87

5.13.7組合的局限性87第6章挑戰及策略88

6.1架構和表示維度的符號88

6.2入門示例89

6.2.1單步前饋策略89

6.2.2示例： MiniBach——《聖詠曲》對位伴奏符號音樂生成系統89

6.2.3第一個分析91

6.3局限性及挑戰92

6.4基於Ex Nihilo的生成92

6.4.1解碼器前饋93

6.4.2採樣95

6.5音樂長度的可變性97

6.6音樂內容的可變性101

6.7音樂表現力106

6.8RNN與迭代前饋的再探討108

6.8.1#1示例： TimeWindowed——旋律符號音樂生成系統108

6.8.2#2示例： Sequential——旋律符號音樂生成系統109

6.8.3#3示例： BLSTM——和弦伴奏符號音樂生成系統111

6.8.4總結114

6.9旋律和弦交互114

6.9.1#1示例： RNNRBM——面向復調的符號音樂生成系統114

6.9.2#2示例： Hexahedria——面向復調的符號音樂生成架構117

6.9.3#3示例： BiAxial LSTM——面向復調的符號音樂生成架構119

6.10控制121

6.10.1控制策略的維度121

6.10.2採樣122

6.10.3調控127

6.10.4輸入操縱139

6.10.5輸入操控和採樣146

6.10.6強化學習149

6.10.7Unit Selection152

6.11風格遷移155

6.11.1作曲風格轉移155

6.11.2音色風格遷移156

6.11.3演奏風格遷移157

6.11.4示例： FlowComposer——作曲支持環境158

6.12架構160

6.12.1示例： MusicVAE——面向多聲道層次符號音樂生成系統160

6.12.2其他時間架構層次164

6.13原創性165

6.13.1調控165

6.13.2創新對抗網絡165

6.14漸進性167

6.14.1音符實例化策略167

6.14.2示例： DeepBach——面向多聲部《聖詠曲》的符號音樂

生成系統168

6.15交互性171

6.15.1#1示例： deepAutoController——音頻音樂生成系統171

6.15.2#2示例： DeepBach——面向《聖詠曲》的符號音樂生成系統172

6.15.3接口定義172

6.16適應性173

6.17可解釋性173

6.17.1#1示例： BachBot——面向復調《聖詠曲》的符號音樂

生成系統174

6.17.2#2示例： deepAutoController——音頻音樂生成系統176

6.17.3自動分析176

6.18討論177第7章分析178

7.1引用和縮略語178

7.2系統分析183

7.3相關分析191第8章討論與結論197

8.1全局與時值步長197

8.2捲積與遞歸198

8.3風格遷移與遷移學習199

8.4協作199

8.5專業化200

8.6評價與創造力200

8.7結論202參考文獻203術語215