在线凸优化(第2版)/计算机与智能科学丛书

本书全面更新，深入探 索优化和机器学习交叉领域 ，详细介绍日常生活中许多 系统和模型的优化过程。 本书增加了关于提升、 自适应遗憾和可接近性的章 节扩大了优化和学习理论的 覆盖面应用实例包含专家建 议投资组合选择、矩阵补全 推荐系统和支持向量机训练 等。

埃拉德·哈赞（Elad Hazan）普林斯顿大学计算机科学教授，谷歌人工智能普林斯顿公司的联合创始人和董事。他专注于机器学习和优化中基本问题的算法设计和分析的研究，曾获得贝尔实验室奖、2008年度和2012年度IBM Goldberg最佳论文奖、欧洲研究理事会奖、玛丽·居里奖学金和谷歌研究奖。他曾在计算学习协会指导委员会任职，并担任COLT2015程序委员会主席，2017年与他人共同创建了致力于高效优化和控制的In8公司。

第1章 导论 1.1 在线凸优化设置 1.2 可用OCO建模的问题示例 1.2.1 从专家建议中预测 1.2.2 在线垃圾邮件过滤 1.2.3 在线最短路径 1.2.4 投资组合选择 1.2.5 矩阵补全和推荐系统 1.3 混合的开始：从专家建议中学习 1.3.1 加权多数算法 1.3.2 随机加权多数 1.3.3 Hedge 1.4 文献评述 1.5 练习 第2章 凸优化基本概念 2.1 基本定义和设置 2.1.1 凸集上的投影 2.1.2 最优条件介绍 2.2 梯度下降 2.2.1 Polyak步长 2.2.2 度量与最优值之间的距离 2.2.3 Polyak步长分析 2.3 约束梯度/次梯度下降 2.4 非光滑和非强凸函数的归约 2.4.1 光滑且非强凸函数的归约 2.4.2 强凸非光滑函数的归约 2.4.3 一般凸函数的归约 2.5 示例：支持向量机训练 2.6 文献评述 2.7 练习 第3章 在线凸优化一阶算法 3.1 在线梯度下降 3.2 下界 3.3 对数遗憾 3.4 应用：随机梯度下降 3.5 文献评述 3.6 练习 第4章 二阶方法 4.1 动机：通用投资组合选择 4.1.1 主流投资组合理论 4.1.2 通用投资组合理论 4.1.3 持续再平衡投资组合 4.2 指数凹函数 4.3 指数加权OCO 4.4 在线牛顿步算法 4.5 文献评述 4.6 练习 第5章 正则化 5.1 正则化函数 5.2 RFTL算法及其分析 5.2.1 元算法定义 5.2.2 遗憾界 5.3 在线镜像下降 5.3.1 懒惰版在线镜像下降与RFTL的等价性 5.3.2 镜像下降的遗憾界 5.4 应用与特例 5.4.1 推导在线梯度下降 5.4.2 推导乘法更新 5.5 随机正则化 5.5.1 凸损失扰动 5.5.2 线性代价函数扰动 5.5.3 专家建议的FPL算法 5.6 自适应梯度下降 5.7 文献评述 5.8 练习 第6章 赌博机凸优化 6.1 赌博机凸优化设置 6.2 多臂赌博机问题 6.3 从有限信息归约至完全信息 6.3.1 第一部分：使用无偏估计 6.3.2 第二部分：逐点梯度估计 6.4 无需梯度在线梯度下降 6.5 赌博机线性优化的最优遗憾算法 6.5.1 自和谐势垒 6.5.2 一个近似最优算法 6.6 文献评述 6.7 练习 第7章 无投影算法 7.1 回顾：线性代数的相关概念 7.2 动机：推荐系统 7.3 条件梯度法 7.4 投影与线性优化 7.5 在线条件梯度算法 7.6 文献评述 7.7 练习 第8章 博弈，对偶与遗憾 8.1 线性规划与对偶 8.2 零和博弈与均衡 8.3 冯·诺依曼定理证明 8.4 近似线性规划 8.5 文献评述 8.6 练习 第9章 学习理论，泛化性与在线凸优化 9.1 统计学习理论 9.1.1 过拟合 9.1.2 免费午餐 9.1.3 学习问题示例 9.1.4 定义泛化性与可学习性 9.2 使用在线凸优化的不可知学习 9.2.1 余项：度量集中和鞅 9.2.2 归约的分析 9.3 学习与压缩 9.4 文献评述 9.5 练习 第10章 在变化的环境中学习 10.1 一个简单的开始：动态遗憾 10.2 自适应遗憾的概念 10.3 跟踪最好的专家 10.4 在线凸优化的有效自适应遗憾 10.5 计算高效的方法 10.6 文献评述 10.7 练习 第11章 Boosting与遗憾 11.1 Boosting的问题 11.2 基于在线凸优化的Boosting 11.2.1 简化设置 11.2.2 算法与分析 11.2.3 AdaBoost 11.2.4 补全路线图 11.3 文献评述 11.4 练习 第12章 在线Boosting 12.1 动机：向大量专家学习 12.1.1 示例：Boosting在线二进制分类 12.1.2 示例：个性化文章配置 12.2 情境学习模型 12.3 延拓算子 12.4 在线Boosting方法 12.5 文献评述 12.6 练习