速通深度學習數學基礎

本書以線性代數、微積分、概率論為邏輯主線，講解了與深度學習有關的大部分數學內容。
本書以理論結合實際的方式講解，使數學知識不再是冰冷的公式堆砌，
而變成一個個真實的案例，同時對案例背後的原理進行理論上的昇華，希望達到一通百通的效果。
讀者通過閱讀本書，不僅能夠提升閱讀學術論文中的數學公式的能力，
還能加深對深度學習本身的理解。

本書面向入門級讀者，摒棄複雜的數學推導和證明，
重視邏輯推理和簡單的表達，特別適合數學基礎不足的讀者閱讀。

2003年~2012年年就讀於北京科技大學本科碩士博士，
2016年於北京大學博士後流動站出站，研究方向為：機器學習，人工智能，計算機視覺和自然語言屬於。
工作於騰訊，愛奇藝等頂級互聯網公司從事人工智能技術的應用研發工作。
曾獲得騰訊年度人工智能銅獎，所做項目涉及自然語言處理，
推薦系統，領導團隊參與多項公司級項目的搭建和優化。
工作之餘，一直和培訓機構進行合作，主講人工智能課程，
致力於人工智能在中國的普及推廣和應用。

第1章線性代數的基本概念 1
1.1 向量和深度學習 1
1.2 向量距離計算 7
1.3 向量的基本性質11
1.3.1 向量的基本運算11
1.3.2 線性相關和線性無關14
1.3.3 向量的投影和正交15
1.4 矩陣18
1.4.1 矩陣的基本概念18
1.4.2 矩陣和神經網絡26
1.4.3 矩陣的秩28
1.5 一些特殊的矩陣30
1.5.1 矩陣的逆和廣義逆30
1.5.2 正交矩陣32
第2章線性代數在深度學習中的應用34
2.1 特徵值和特徵向量34
2.1.1 特徵值和特徵向量的定義34
2.1.2 一般矩陣的特徵分解37
2.1.3 對稱矩陣的特徵分解38
2.2 奇異值分解41
2.3 正定矩陣45
2.4 矩陣的範數和神經網絡46
2.5 主成分分析49
2.6 推薦系統中的矩陣分解55
第3章微積分的基本概念59
3.1 導數的定義和幾何意義59
3.2 複雜函數求導61
3.3 導數的存在性64
3.4 多元函數求導65
3.5 二階導數和高階導數65
3.6 函數的極大值和極小值69
3.6.1 一元函數的極大值和極小值69
3.6.2 多元函數的凹凸性和海森矩陣72
3.6.3 凸優化證明73
第4章微積分在深度學習中的應用77
4.1 梯度下降法77
4.1.1 梯度下降法在深度學習中的應用77
4.1.2 泰勒公式和梯度下降法80
4.1.3 牛頓迭代法81
4.2 梯度下降法的缺點84
4.3 矩陣求導術88
4.3.1 標量對向量和矩陣求導88
4.3.2 向量對向量求導89
4.3.3 鍊式法則91
4.4 常見激活函數及其導數92
4.5 常見損失函數及其導數99
4.5.1 分類和回歸99
4.5.2 哈夫曼樹和負採樣103
4.5.3 度量學習106
4.6 積分和求和108
4.6.1 積分和不定積分108
4.6.2 多重積分111
4.6.3 分類模型的效果指標AUC 113
第5章概率的基本概念117
5.1 概率入門117
5.2 聯合概率和條件概率119
5.3 貝葉斯定理122
5.4 連續概率分佈124
5.5 均值和方差126
5.6 相關性130
5.7 正態分佈133
5.7.1 正態分佈的基本概念和性質133
5.7.2 正態分佈和邏輯回歸137
第6章概率在深度學習中的應用139
6.1 概率分佈之間的距離139
6.2 最大似然估計140
6.3 Logit和Softmax 143
6.3.1 二分類的Logit 143
6.3.2 多分類的Softmax 144
6.4 語言模型147
6.5 概率悖論150
6.5.1 辛普森悖論150
6.5.2 基本比率謬誤151
6.5.3 羅傑斯現象153
6.5.4 伯克森悖論153
6.6 統計學基礎155
6.6.1 卡方分佈和學生分佈155
6.6.2 假設檢驗158
6.6.3 AB測試168
6.7 各類散列變換172
6.7.1 特徵Hash 172
6.7.2 MD5 174
6.7.3 特徵空間的投影175
6.7.4 simhash 177
6.7.5 minhash 178
6.8 分類器性能的極限181
6.8.1 最大AUC 181
6.8.2 貝葉斯錯誤率184