最優化導論, 4/e (An Introduction to Optimization, 4/e)

本書是一本關於最優化技術的入門教材，全書共分為四部分。第一部分是預備知識。第二部分主要介紹無約束優化問題，並介紹線性方程組的求解方法、神經網絡方法和全局搜索算法。第三部分介紹線性規劃問題，包括線性優化問題的模型、單純形法、對偶線性規劃以及一些非單純形法，簡單介紹了整數規劃問題。第四部分介紹有約束非線性優化問題，包括純等式約束下和不等式約束下的優化問題的最優性條件、凸優化問題、有約束優化問題的求解算法和多目標優化問題。

Edwin K. P. Chong，博士，美國科羅拉多州立大學數學教授、電子和計算機工程教授，IEEE會士，IEEE Transactions on Automatic Control的高級主編。 

Stanislaw H. Zak，博士，美國普渡大學電子和計算機工程學院教授，曾任Dynamics and Control和IEEE Transactions on Neural Networks的副主編。

孫志強，山東青島人，博士，曾任國防科技大學講師，擔任“最優化方法”和“自動控制原理”課程的主講教師多年，承擔或參與過多項教學科研項目，發表過多篇教學、科研論文。
現為某公司研發工程師，從事聲學信號處理、智能交通等方面的技術和產品開發工作。

第一部分 數學知識回顧
第1章 證明方法與相關記法
1.1 證明方法
1.2 記法
習題

第2章 向量空間與矩陣
2.1 向量與矩陣
2.2 矩陣的秩
2.3 線性方程組
2.4 內積和範數
習題

第3章 變換
3.1 線性變換
3.2 特徵值與特徵向量
3.3 正交投影
3.4 二次型函數
3.5 矩陣範數
習題

第4章 有關幾何概念
4.1 線段
4.2 超平面與線性簇
4.3 凸集
4.4 鄰域
4.5 多面體和多胞形
習題

第5章 微積分基礎
5.1 序列與極限
5.2 可微性
5.3 導數矩陣
5.4 微分法則
5.5 水平集與梯度
5.6 泰勒級數
習題

第二部分 無約束優化問題
第6章 集合約束和無約束優化問題的基礎知識
6.1 引言
6.2 局部極小點的條件
習題

第7章 一維搜索方法
7.1 引言
7.2 黃金分割法
7.3 斐波那契數列法
7.4 二分法
7.5 牛頓法
7.6 割線法
7.7 劃界法
7.8 多維優化問題中的一維搜索
習題

第8章 梯度方法
8.1 引言
8.2 最速下降法
8.3 梯度方法性質分析
習題

第9章 牛頓法
9.1 引言
9.2 牛頓法性質分析
9.3 Levenberg-Marquardt修正
9.4 牛頓法在非線性最小二乘問題中的應用
習題

第1O章 共軛方向法
10.1 引言
1O.2 基本的共軛方向算法
10.3 共軛梯度法
10.4 非二次型問題中的共軛梯度法
習題

第11章 擬牛頓法
11.1 引言
11.2 黑塞矩陣逆矩陣的近似
11.3 秩1修正公式
11.4 DFP算法
11.5 BFGS算法
習題

第12章 求解線性方程組
12.1 最小二乘分析
12.2 遞推最小二乘算法
12.3 線性方程組的最小範數解
12.4 Kaczmarz算法
12.5 一般意義下的線性方程組的求解
習題

第13章 無約束優化問題和神經網絡
13.1 引言
13.2 單個神經元訓練
13.3 反向傳播算法
習題

第14章 全局搜索算法
14.1 引言
14.2 Nelder-Mead單純形法
14.3 模擬退火法
14.4 粒子群優化算法
14.5 遺傳算法
習題

第三部分 線性規劃
第15章 線性規劃概述
15.1 線性規劃簡史
15.2 線性規劃的簡單例子
15.3 二維線性規劃
15.4 凸多面體和線性規劃
15.5 線性規劃問題的標準型
15.6 基本解
15.7 基本解的性質
15.8 幾何視角下的線性規劃
習題

第16章 單純形法
16.1 利用行變換求解線性方程組
16.2 增廣矩陣的規範型
16.3 更新增廣矩陣
16.4 單純形法
16.5 單純形法的矩陣形式
16.6 兩階段單純形法
16.7 修正單純形法
習題

第17章 對偶
17.1 對偶線性規劃
17.2 對偶問題的性質
習題

第18章 非單純形法
18.1 引言
18.2 Khachiyan算法
18.3 仿射尺度法
18.4 Karmarkar算法
習題

第19章 整數規劃
19.1 概述
19.2 么模矩陣
19.3 Gomory割平面法
習題

第四部分 有約束非線性優化問題
第20章 僅含等式約束的優化問題
20.1 引言
20.2 問題描述
20.3 切線空間和法線空間
20.4 拉格朗日條件
20.5 二階條件
20.6 線性約束下二次型函數的極小化
習題

第21章 含不等式約束的優化問題
21.1 卡羅需-庫恩-塔克（Karush-Kuhn-Tucker）條件
21.2 二階條件
習題

第22章 凸優化問題
22.1 引言
22.2 凸函數
22.3 凸優化問題
22.4 半定規劃
習題

第23章 有約束優化問題的求解算法
23.1 引言
23.2 投影法
23.3 求解含線性約束優化問題的投影梯度法
23.4 拉格朗日法
23.5 罰函數法
習題

第24章 多目標優化
24.1 引言
24.2 帕累托解
24.3 怕累托前沿的求解
24.4 多目標優化到單目標優化的轉換
24.5 存在不確定性的線性規劃
習題

參考文獻