本书介绍了凸优化中的主要复杂性定理及其相应的算法。从黑箱优化的基本理论出发，内容材料是朝着结构优化和随机优化的新进展。我们对黑箱优化的介绍，深受Nesterov的开创性著作和Nemirovski讲稿的影响，包括对切割平面方法的分析，以及（加速）梯度下降方案。我们还特别关注非欧几里德的情况（相关算法包括Frank Wolfe、镜像下降和对偶平均法），并讨论它们在机器中的相关性学习。我们慢慢的介绍了FISTA（优化一个光滑项和一个简单的非光滑项的和）、鞍点镜像代理（Nemirovski平滑替代Nesterov的光滑）和一个对内点方法的简明描述。在随机优化中，我们讨论了随机梯度下降、小批量、随机坐标下降和次线性算法。我们还简单地讨论了组合问题的凸松弛和随机性对取整（四舍五入）解的使用，以及基于随机游动的方法。
译者序
致谢
第1章绪论1
11机器学习中的若干凸优化问题1
12凸性的基本性质3
13凸性的作用5
14黑箱模型7
15结构性优化8
16结果的概述和免责声明9
第2章有限维的凸优化12
21重心法12
22椭球法14
23Vaidya割平面法18
231体积障碍19
232Vaidya算法20
233Vaidya方法分析20
234限制条件和体积障碍22
24共轭梯度26
第3章维度无关的凸优化30
31Lipschitz函数的投影次梯度下降31
32光滑函数的梯度下降33
33条件梯度下降39
34强凸性43
341 强凸函数和Lipschitz函数44
342强凸光滑函数45
35下限47
36几何下降52
361热身赛：梯度下降的几何学替代方案53
362加速度55
363几何下降法56
37Nesterov加速梯度下降58
371光滑强凸情况58
372光滑的情况62
第4章非欧氏空间几乎维度无关的凸优化65
41镜像映射66
42镜像下降67
43镜像下降的标准设置70
44惰性镜像下降72
45镜像代理74
46关于MD、DA和MP的向量场观点76
第5章超越黑箱模型78
51光滑项与简单非光滑项之和78
52非光滑函数的光滑鞍点表示80
521鞍点计算81
522鞍点镜像下降82
523鞍点镜像代理83
524应用84
53内点法87
531障碍法87
532牛顿法的传统分析88
533自和谐函数90
534ν自和谐障碍92
535路径跟踪方案95
536线性规划和半定规划的内点法96
第6章凸优化与随机性98
61非光滑随机优化99
62光滑随机优化与小批量SGD100
63光滑函数与强凸函数的和103
64随机坐标下降107
641坐标平滑优化的RCD算法108
642用于光滑和强凸优化的RCD110
65鞍点的随机加速112
66凸松弛与随机取整113
67基于随机游动的方法117
参考文献120
书单推荐
