从机器学习到深度学习 基于scikit-learn与TensorFlow的高效开发实战

"1．内容全面 全面覆盖了机器学习的三大领域：有监督学习、无监督学习、强化学习。在分析它们的传统算法模型后，着重解析近年来取得突破的深度学习在人工智能方面的应用。 2．深入浅出 用生活化的语言描述算法与模型的原理与作用，并给出实践指导和案例解析。使得没有任何专业基础的读者在学习本书后能够独立设计与开发机器学习产品。 3．工具多样 理论内容全面，以至于没有哪个工具能够全部实现这些模型，因此在每一个模型的实践部分选取最合适的工具。总体来看，本书围绕scikit-learn与TensorFlow展开实践，并在需要时引入其他工具。 4．案例丰富 除了每个模型的小型实践，本书包括的较大案例是：金融预测、医疗诊断概率模型、月球登陆器、图像识别、写诗机器人、中国象棋博弈。 5．授人以渔 在运用到较深的理论知识或更细节的论证结果时，本书给出这些知识与结论的出处，确保读者能够追本溯源；在工具使用方面，不仅着眼于接口细节，更关注那些能使读者快速形成查阅该工具近期新在线文档的核心知识的能力。 "

这是一本场景式的机器学习实践书，笔者努力做到“授人以渔，而非授人以鱼”。理论方面从人工智能（AI）与机器学习（ML）的基本要素讲起，逐步展开有监督学习、无监督学习、强化学习这三大类模型的应用场景与算法原理；实践方面通过金融预测、医疗诊断概率模型、月球登陆器、图像识别、写诗机器人、中国象棋博弈等案例启发读者将机器学习应用在各行各业里，其中后三个案例使用了深度学习技术。本书试图用通俗的语言讲解涵盖算法模型的机器学习，主要内容包括机器学习通用概念、三个基本科学计算工具、有监督学习、聚类模型、降维模型、隐马尔可夫模型、贝叶斯网络、自然语言处理、深度学习、强化学习、模型迁移等。在深入浅出地解析模型与算法之后，介绍使用Python相关工具进行开发的方法、解析经典案例，使读者做到“能理解、能设计、能编码、能调试”，没有任何专业基础的读者在学习本书后也能够上手设计与开发机器学习产品。本书内容深入浅出、实例典型，适合对机器学习感兴趣的产品设计、技术管理、数据分析、软件开发或学生读者。阅读本书既能了解当前工业界的主流机器学习与深度学习开发工具的使用方法，又能从战略方面掌握如何将人工智能技术应用到自己的企业与产品中。

刘长龙，思维与行动兼备的80后，享受萌生新想法后边开发边思考的创新过程。上海交大硕士毕业后最初任职于上海电信，负责账务与支付系统的开发与实施；之后加入Honeywell负责多个自动化控制产品服务开发、主导了霍尼韦尔中国智能家居在云与大数据上的创新；现在作为思科的工程师在企业内主持多次机器学习技术分享，实现智能文本分析系统、聊天机器人自然语言处理等产品创新；2018年在思科主办，腾讯、网易、诺基亚等共同参与的敏捷与人工智能峰会上担任机器学习算法演讲嘉宾。

章 机器学习基础 1
1.1 引言 1
1.1.1 为什么使用机器学习 2
1.1.2 机器学习与数据挖掘 4
1.1.3 机器学习与人工智能 5
1.2 机器学习的一般流程 7
1.2.1 定义问题 7
1.2.2 收集数据 8
1.2.3 比较算法与模型 9
1.2.4 应用模型 10
1.3 学习策略 10
1.3.1 有监督学习 11
1.3.2 无监督学习 14
1.3.3 强化学习 16
1.3.4 综合模型与工具 18
1.4 评估理论 19
1.4.1 划分数据集 19
1.4.2 交叉验证 21
1.4.3 评估指标 22
1.4.4 拟合不足与过度拟合 25
1.5 本章内容回顾 26
第2章 Python基础工具 27
2.1 Numpy 28
2.1.1 Numpy与Scipy的分工 28
2.1.2 ndarray构造 29
2.1.3 数据类型 32
2.1.4 访问与修改 33
2.1.5 轴 35
2.1.6 维度操作 38
2.1.7 合并与拆分 40
2.1.8 增与删 41
2.1.9 全函数 42
2.1.10 广播 42
2.2 Matplot 43
2.2.1 点线图 44
2.2.2 子视图 50
2.2.3 图像 53
2.2.4 等值图 57
2.2.5 三维绘图 58
2.2.6 从官网学习 59
2.3 Scipy 60
2.3.1 数学与物理常数 61
2.3.2 特殊函数库 62
2.3.3 积分 64
2.3.4 优化 65
2.3.5 插值 67
2.3.6 离散傅里叶 68
2.3.7 卷积 70
2.3.8 线性分析 71
2.3.9 概率统计 73
2.4 本章内容回顾 77
第3章 有监督学习：分类与回归 79
3.1 线性回归 80
3.1.1 何谓线性模型 80
3.1.2 最小二乘法 81
3.1.3 最小二乘法的不足 82
3.1.4 岭回归 85
3.1.5 Lasso回归 87
3.2 梯度下降 90
3.2.1 假设函数与损失函数 90
3.2.2 随机梯度下降 92
3.2.3 实战：SGDRegressor和SGDClassifier 93
3.2.4 增量学习 94
3.3 支持向量机 95
3.3.1 很优超平面 95
3.3.2 软间隔 97
3.3.3 线性不可分问题 98
3.3.4 核函数 99
3.3.5 实战：scikit-learn中的SVM 100
3.4 朴素贝叶斯分类 101
3.4.1 基础概率 102
3.4.2 贝叶斯分类原理 103
3.4.3 高斯朴素贝叶斯 105
3.4.4 多项式朴素贝叶斯 106
3.4.5 伯努利朴素贝叶斯 107
3.5 高斯过程 107
3.5.1 随机过程 108
3.5.2 无限维高斯分布 109
3.5.3 实战：gaussian_process工具包 111
3.6 决策树 114
3.6.1 最易于理解的模型 114
3.6.2 熵的作用 115
3.6.3 实战：DecisionTreeClassifier与DecisionTreeRegressor 117
3.6.4 树的可视化 118
3.7 集成学习 119
3.7.1 偏差与方差 120
3.7.2 随机森林 121
3.7.3 自适应增强 124
3.8 综合话题 126
3.8.1 参数与非参数学习 127
3.8.2 One-Vs-All与One-Vs-One 127
3.8.3 评估工具 129
3.8.4 超参数调试 131
3.8.5 多路输出 134
3.9 本章内容回顾 134
第4章 无监督学习：聚类 136
4.1 动机 137
4.2 K-means 138
4.2.1 算法 139
4.2.2 实战：scikit-learn聚类调用 141
4.2.3 如何选择K值 144
4.3 近邻算法 145
4.3.1 生活化的理解 145
4.3.2 有趣的迭代 146
4.3.3 实战：AffinityPropagation类 147
4.4 高斯混合模型 149
4.4.1 中心极限定理 150
4.4.2 优选似然估计 151
4.4.3 几种协方差矩阵类型 152
4.4.4 实战：GaussianMixture类 154
4.5 密度聚类 156
4.5.1 凸数据集 157
4.5.2 密度算法 158
4.5.3 实战：DBSCAN类 159
4.6 BIRCH 160
4.6.1 层次模型综述 161
4.6.2 聚类特征树 162
4.6.3 实战：BIRCH相关调用 164
4.7 距离计算 166
4.7.1 闵氏距离 166
4.7.2 马氏距离 167
4.7.3 余弦相似度 168
4.7.4 时间序列比较 169
4.7.5 杰卡德相似度 169
4.8 聚类评估 170
4.9 本章内容回顾 172
第5章 无监督学习：数据降维 173
5.1 主成分分析 174
5.1.1 寻找方差优选维度 174
5.1.2 用PCA降维 177
5.1.3 实战：用PCA寻找主成分 178
5.2 线性判别分析 181
5.2.1 双重标准 181
5.2.2 实战：使用LinearDiscriminantAnalysis 183
5.3 多维标度法 185
5.3.1 保留距离信息的线性变换 185
5.3.2 MDS的重要变形 187
5.3.3 实战：使用MDS类 188
5.4 流形学习之Isomap 189
5.4.1 什么是流形 190
5.4.2 测地线距离 192
5.4.3 实战：使用Isomap类 193
5.5 流形学习之局部嵌入 195
5.5.1 局部线性嵌入 195
5.5.2 拉普拉斯特征映射（LE） 198
5.5.3 调用介绍 200
5.5.4 谱聚类 201
5.6 流形学习之t-SNE 203
5.6.1 用Kullback-Leiber衡量分布相似度 203
5.6.2 为什么是t-分布 205
5.6.3 实战：使用TSNE类 206
5.7 实战：降维模型之比较 207
5.8 本章内容回顾 210
第6章 隐马尔可夫模型 212
6.1 场景建模 213
6.1.1 两种状态链 213
6.1.2 两种概率 215
6.1.3 三种问题 217
6.1.4 hmmLearn介绍 218
6.2 离散型分布算法与应用 222
6.2.1 前向算法与后向算法 222
6.2.2 MultinomialNB求估计问题 226
6.2.3 Viterbi算法 227
6.2.4 MultinomialNB求解码问题 229
6.2.5 EM算法 232
6.2.6 Baum-Welch算法 233
6.2.7 用hmmLearn训练数据 235
6.3 连续型概率分布 236
6.3.1 多元高斯分布 237
6.3.2 GaussianHMM 239
6.3.3 GMMHMM 240
6.4 实战：股票预测模型 241
6.4.1 数据模型 241
6.4.2 目标 243
6.4.3 训练模型 243
6.4.4 分析模型参数 245
6.4.5 可视化短线预测 247
6.5 本章内容回顾 250
第7章 贝叶斯网络 251
7.1 什么是贝叶斯网络 252
7.1.1 典型贝叶斯问题 252
7.1.2 静态结构 253
7.1.3 联合/边缘/条件概率换算 256
7.1.4 链式法则与变量消元 258
7.2 网络构建 259
7.2.1 网络参数估计 260
7.2.2 启发式搜索 261
7.2.3 Chow-Liu Tree算法 262
7.3 近似推理 263
7.3.1 蒙特卡洛方法 264
7.3.2 马尔可夫链收敛定理 265
7.3.3 MCMC推理框架 267
7.3.4 Gibbs采样 268
7.3.5 变分贝叶斯 268
7.4 利用共轭建模 270
7.4.1 共轭分布 270
7.4.2 隐含变量与显式变量 272
7.5 实战：胸科疾病诊断 274
7.5.1 诊断需求 274
7.5.2 Python概率工具包 275
7.5.3 建立模型 276
7.5.4 MCMC采样分析 278
7.5.5 近似推理 281
7.6 本章内容回顾 282
第8章 自然语言处理 284
8.1 文本建模 285
8.1.1 聊天机器人原理 285
8.1.2 词袋模型 286
8.1.3 访问新闻资源库 287
8.1.4 TF-IDF 290
8.1.5 实战：关键词推举 290
8.2 词汇处理 294
8.2.1 中文分词 294
8.2.2 Word2vec 296
8.2.3 实战：寻找近似词 298
8.3 主题模型 303
8.3.1 三层模型 303
8.3.2 非负矩阵分解 304
8.3.3 潜在语意分析 305
8.3.4 隐含狄利克雷分配 307
8.3.5 实战：使用工具包 309
8.4 实战：用LDA分析新闻库 311
8.4.1 文本预处理 311
8.4.2 训练与显示 313
8.4.3 困惑度调参 315
8.5 本章内容回顾 317
第9章 深度学习 319
9.1 神经网络基础 320
9.1.1 人工神经网络 320
9.1.2 神经元与激活函数 321
9.1.3 反向传播 323
9.1.4 万能网络 325
9.2 TensorFlow核心应用 328
9.2.1 张量 329
9.2.2 开发架构 331
9.2.3 数据管理 332
9.2.4 评估器 335
9.2.5 图与会话 338
9.2.6 逐代（epoch）训练 341
9.2.7 图与统计可视化 343
9.3 卷积神经网络 349
9.3.1 给深度学习一个理由 349
9.3.2 CNN结构发展 351
9.3.3 卷积层 354
9.3.4 池化层 356
9.3.5 ReLU与Softmax 357
9.3.6 Inception与ResNet 359
9.4 优化 362
9.4.1 批次规范化 362
9.4.2 剪枝 364
9.4.3 算法选择 366
9.5 循环神经网络与递归神经网络 367
9.5.1 循环神经网络 368
9.5.2 长短期记忆（LSTM） 371
9.5.3 递归神经网络 374
9.6 前沿精选 377
9.6.1 物件检测模型 377
9.6.2 密连卷积网络 381
9.6.3 胶囊网络 382
9.7 CNN实战：图像识别 385
9.7.1 开源图像库CIFAR 385
9.7.2 项目介绍 388
9.7.3 构建Graph 389
9.7.4 优化与训练 392
9.7.5 运行 394
9.8 RNN实战：写诗机器人 397
9.8.1 语言模型 397
9.8.2 LSTM开发步骤1：网络架构 401
9.8.3 LSTM开发步骤2：数据加载 402
9.8.4 LSTM开发步骤3：搭建TensorFlow Graph 403
9.8.5 LSTM开发步骤4：解析LSTM RNN 404
9.8.6 LSTM开发步骤5：LSTM中的参数 406
9.8.7 LSTM开发步骤6：用sequence_loss计算RNN损失值 406
9.8.8 LSTM开发步骤7：学习速度可调优化器 407
9.8.9 LSTM开发步骤8：训练 408
9.8.10 开始写唐诗 410
9.8.11 写唐诗步骤1：用唐诗语料训练语言模型 410
9.8.12 写唐诗步骤2：作诗 412
9.8.13 写唐诗步骤3：作品举例 414
9.9 本章内容回顾 415
0章 强化学习 418
10.1 场景与原理 419
10.1.1 借AlphaGo谈人工智能 419
10.1.2 基于价值的算法Q-Learning与Sarsa 421
10.1.3 基于策略的算法 424
10.1.4 基于模型的算法 426
10.2 OpenAI Gym 427
10.2.1 环境调用 428
10.2.2 实战：用Q-Learning开发走迷宫机器人 432
10.3 深度强化学习 435
10.3.1 DQN及改进 435
10.3.2 DPN、DDPG及A3C 436
10.3.3 实战：用DPN训练月球定点登陆 439
10.4 博弈原理 444
10.4.1 深度搜索与广度搜索 444
10.4.2 完美决策 446
10.4.3 蒙特卡洛搜索树 448
10.5 实战：中国象棋版AlphaGo Zero 449
10.5.1 开源版本AlphaGo Zero 450
10.5.2 盘面建模 452
10.5.3 左右互搏 457
10.5.4 MCTS详解 464
10.5.5 DDPG详解 468
10.5.6 运行展示：训练 473
10.5.7 运行展示：查看统计 475
10.5.8 运行展示：当头炮、把马跳 475
10.5.9 运行展示：人机博弈 476
10.6 本章内容回顾 477
1章 模型迁移 478
11.1 走向移动端 478
11.1.1 Android上的TensorFlow 479
11.1.2 iOS上的CoreML 480
11.2 迁移学习 483
11.2.1 动机 483
11.2.2 训练流程 484
11.3 案例实战：基于TensorFlow Hub的迁移学习开发 485
11.3.1 下载并训练 485
11.3.2 检验学习成果 486
11.3.3 迁移学习开发 487
11.4 本章内容回顾 488
后记 489