深度學習黑箱：數學基礎與架構設計

克裏希南杜·喬杜裏（Krishnendu Chaudhury）是Drishti Technologies公司首席技術官（CTO）及聯合創始人，該公司致力於將人工智能技術應用於制造業領域。作為深耕深度學習與計算機視覺領域數十年的技術領軍人物和發明家，他在創立Drishti Technologies之前，曾供職於Google（2004—2015年）和Adobe Systems（1996—2004年）等 機構。2015年至2017年，他在Flipkart公司擔任圖像科學部門負責人，並於2017年離職創立了Drishti Technologies公司。他擁有美國肯塔基大學列克星敦分校計算機科學博士學位，在 學術期刊和 會議上發表過大量研究成果，並持有數十項專利。阿納尼亞·H. 阿肖克（Ananya H. Ashok）、蘇賈伊·納魯曼奇（Sujay Narumanchi）和德瓦希什·尚卡爾（Devashish Shankar）是深耕機器學習領域的 工程師，在深度學習與計算機視覺領域持有數十項技術專利。作為Drishti公司創始工程團隊的核心成員，他們共同構建了將人工智能技術落地於工業場景的核心技術體系，持續推動計算機視覺在制造業質量檢測、流程優化等場景的創新應用。

譯者序
序
前言
致謝
第1章 機器學習和深度學習概述
1.1 初探機器學習和深度學習：計算範式的轉變
1.2 機器學習的函數逼近視角：模型及其訓練
1.3 一個簡單的機器學習模型：貓腦模型
1.3.1 輸入特征
1.3.2 輸出決策
1.3.3 模型估計
1.3.4 模型架構選擇
1.3.5 模型訓練
1.3.6 推理
1.4 機器學習的幾何視角
1.5 機器學習中的回歸與分類
1.6 線性模型與非線性模型
1.7 通過多個非線性層提高表達能力：深度神經網絡
1.8 本章總結
第2章 機器學習中的向量、矩陣和張量
2.1 向量及其在機器學習中的作用
2.2 用於向量操作的PyTorch代碼
2.3 矩陣及其在機器學習中的作用
2.4 Python代碼：如何用PyTorch表示矩陣、張量和圖像
2.5 機器學習中向量和矩陣的基本運算
2.5.1 矩陣和向量的轉置
2.5.2 兩個向量的點積及其在機器學習中的作用
2.5.3 矩陣乘法與機器學習
2.5.4 向量的長度（L2範數）：模型誤差
2.5.5 向量長度的直觀幾何解釋
2.5.6 點積的直觀幾何解釋：特征相似性
2.6 向量的正交性及其物理意義
2.7 Python代碼：通過PyTorch進行基本的向量和矩陣操作
2.7.1 用於矩陣轉置的PyTorch代碼
2.7.2 用於點積運算的PyTorch代碼
2.7.3 用於矩陣-向量乘法的PyTorch代碼
2.7.4 用於矩陣-矩陣乘法的PyTorch代碼
2.7.5 用於矩陣乘積轉置的PyTorch代碼
2.8 多維直線方程和平面方程以及機器學習
2.8.1 多維直線方程
2.8.2 多維平面方程及其在機器學習中的作用
2.9 線性組合、向量生成、基向量和共線性保持
2.9.1 線性相關
2.9.2 向量組的生成空間
2.9.3 向量空間、基向量與封閉性
2.10 線性變換：幾何和代數解釋
2.10.1 線性變換的通用多維定義
2.10.2 所有矩陣-向量乘法都是線性變換
2.11 多維數組、多線性變換和張量
2.12 線性系統和矩陣求逆
2.12.1 行列式為零或接近零的線性系統，以及病態系統
2.12.2 用於逆矩陣、行列式以及奇異性測試的PyTorch代碼
2.12.3 機器學習中的超定和欠定線性系統
2.12.4 矩陣的Moore-Penrose偽逆
2.12.5 矩陣的偽逆：一個美麗的幾何直觀表示
2.12.6 使用PyTorch代碼求解超定系統
2.13 特征值與特征向量：機器學習的最強武器
2.13.1 特征向量與線性無關
2.13.2 對稱矩陣與正交特征向量
2.13.3 用於計算特征向量和特征值的PyTorch代碼
2.14 正交（旋轉）矩陣及其特征值和特征向量
2.14.1 旋轉矩陣
2.14.2 旋轉矩陣的正交性
2.14.3 用於驗證旋轉矩陣正交性的PyTorch代碼
2.14.4 旋轉矩陣的特征值和特征向量：找到旋轉軸
2.14.5 用於計算旋轉矩陣特征值和特征向量的PyTorch代碼
2.15 矩陣對角化
2.15.1 矩陣對角化的PyTorch代碼
2.15.2 不使用逆運算，通過對角化求解線性系統
2.15.3 通過對角化求解線性方程組的PyTorch代碼
2.15.4 使用對角化計算矩陣的冪
2.16 對稱矩陣的譜分解
2.17 一個與機器學習相關的應用：尋找超橢圓的軸
2.18 本章總結
第3章 分類器和向量積分
3.1 圖像分類的幾何視角
3.1.1 輸入表示
3.1.2 分類器作為決策邊界
3.1.3 建模簡介
3.1.4 二元分類中曲面函數的符號
3.2 誤差或損失函數
3.3 最小化損失函數：梯度向量
3.3.1 梯度：以機器學習為中心的介紹
3.3.2 等高面表示和損失最小化
3.4 損失函數的局部近似
3.4.1 一維泰勒級數回顧
3.4.2 多維泰勒級數和黑塞矩陣
3.5 梯度下降、誤差最小化和模型訓練的PyTorch代碼實現
3.5.1 線性模型的PyTorch代碼實現
3.5.2 Autograd：PyTorch自動梯度計算
3.5.3 使用PyTorch實現非線性模型
3.5.4 使用PyTorch構建貓腦線性模型
3.6 凸函數與非凸函數以及全局最小值與局部最小值
3.7 凸集和凸函數
3.7.1 凸集
3.7.2 凸曲線與凸曲面
3.7.3 凸性與泰勒級數
3.7.4 凸函數的例子
3.8 本章總結
第4章 機器學習中的線性代數工具
4.1 特征數據點的分布和真實維度
4.2 二次型及其最小化
4.2.1 最小化二次型
4.2.2 對稱正（半正）定矩陣
4.3 矩陣的譜範數和弗羅貝尼烏斯範數
4.3.1 譜範數
4.3.2 弗羅貝尼烏斯範數
4.4 主成分分析
4.4.1 最大方差方向
4.4.2 PCA與降維
4.4.3 PyTorch代碼：PCA和降維
4.4.4 PCA的局限性
4.4.5 PCA與數據壓縮
4.5 奇異值分解
4.5.1 SVD定理的非形式化證明
4.5.2 SVD定理的證明
4.5.3 應用SVD：PCA計算
4.5.4 應用SVD：求解任意線性方程組
4.5.5 矩陣的秩
4.5.6