机器学习理论导引

本书梳理出机器学习理论中的七个重要概念或理论工具, 即: 可学习性, (假设空间)复杂度, 泛化界, 稳定性, 一致性, 收敛率, 遗憾界。每章聚焦其一, 除介绍基本概念外, 还给出若干分析实例, 如显示出不同理论工具如何应用于支持向量机这种常见机器学习技术。读者今后对具体机器学习问题或技术作分析时, 可根据条件选择适用的工具。

前言 主要符号表 第1章 预备知识 ……………………………………………………………… 1 1.1 函数的性质 ………………………………………………………………… 1 1.2 重要不等式 ……………………………………………………………… 5 1.3 最优化基础 ……………………………………………………………… 9 1.4 支持向量机 ……………………………………………………………… 13 1.5 理论的作用 ……………………………………………………………… 18 1.6 阅读材料 ………………………………………………………………… 19 习题 ……………………………………………………………………………… 21 参考文献 ………………………………………………………………………… 22 第2章 可学性 ……………………………………………………………… 25 2.1 基本概念 …………………………………………………………………25 2.2 PAC学习 …………………………………………………………………… 26 2.3 分析实例 ………………………………………………………………… 30 2.4 阅读材料 ………………………………………………………………… 35 习题 ……………………………………………………………………………… 36 参考文献 ……………………………………………………………………… 37 第3章 复杂度 ……………………………………………………………39 3.1 数据分布无关 ………………………………………………………… 39 3.2 数据分布相关 ………………………………………………………… 46 3.3 分析实例 ……………………………………………………………… 50 3.4 阅读材料 …………………………………………………………………56 习题 ..……………………………………………………………………………… 58 参考文献 ……………………………………………………………………… 59 第4章 泛化界 ……………………………………………………………… 61 4.1 泛化误差上界 ………………………………………………………… 61 4.2 泛化误差下界 ………………………………………………………… 71 4.3 分析实例 ………………………………………………………………… 78 4.4 阅读材料 ………………………………………………………………… 83 习题 ……………………………………………………………………………… 84 参考文献 ……………………………………………………………………… 86 第5章 稳定性 …………………………………………………………… 89 5.1 基本概念 ………………………………………………………………… 89 5.2 重要性质 ………………………………………………………………… 92 5.3 分析实例 ………………………………………………………………… 98 5.4 阅读材料 ………………………………………………………………… 107 习题 ……………………………………………………………………………… 108 参考文献 ……………………………………………………………………… 110 第6章 一致性 …………………………………………………………… 113 6.1 基本概念 ……………………………………………………………… 113 6.2 替代函数 ……………………………………………………………… 117 6.3 划分机制 ……………………………………………………………… 122 6.4 分析实例 ……………………………………………………………… 125 6.5 阅读材料 ……………………………………………………………… 132 习题 ………………………………………………………………………… 134 参考文献 ………………………………………………………………… 135 第7章 收敛率 …………………………………………………………… 137 7.1 基本概念 ……………………………………………………………… 137 7.2 确定优化 ……………………………………………………………… 139 7.3 随机优化 ……………………………………………………………… 143 7.4 分析实例 ………………………………………………………………155 7.5 阅读材料 ……………………………………………………………… 157 习题 ……………………………………………………………………………… 159 参考文献 ……………………………………………………………………… 161 第8章 遗憾界 …………………………………………………………… 163 8.1 基本概念 ……………………………………………………………… 163 8.2 完全信息在线学习 ……………………………………………… 165 8.3 赌博机在线学习 ………………………………………………….170 8.4 分析实例 ……………………………………………………………184 8.5 阅读材料 …………………………………………………………… 188 习题 …………………………………………………………………………… 189 参考文献 …………………………………………………………………… 191 索引 ………………………………………………………………………… 193