深度学习与飞桨PaddlePaddle Fluid实战

 

飞桨PaddlePaddle Fluid是百度推出的深度学习框架，不仅支撑了百度公司的很多业务和应用，而且随着其开源过程的推进，在很多行业得到普及、应用和关注。
本书基于近期新的飞桨PaddlePaddle Fluid版本，以真实的应用案例介绍如何用飞桨PaddlePaddle解决主流的深度学习问题。全书共14章。本书首先介绍了什么是飞桨PaddlePaddle，然后介绍了其核心设计思想，进而紧紧结合案例介绍了飞桨PaddlePaddle在主流的图像任务领域、NLP领域的应用，最后还探讨了Paddle-Mobile与Anakin框架等高级主题。附录A和B给出了飞桨PaddlePaddle与TensorFlow、Caffe框架的接口中常用层的对比。
本书非常适合对人工智能感兴趣的学生、从事机器学习相关工作的读者阅读，尤其适合想要通过飞桨PaddlePaddle掌握深度学习应用技术的研究者和从业者参考。

于祥，百度PaddlePaddle技术运营。2015年开始研究神经网络技术，早期从事基于深度学习的身份认证技术研发，曾负责上海智慧城市项目和华润集团项目的算法支持，曾获得ACM-ICPC与CCCC-GPLT银奖。

第1章飞桨PaddlePaddle简介
与AIStudio的使用1
1.1飞桨PaddlePaddle简介1
1.2飞桨PaddlePaddle的工具组件2
1.2.1PaddleHub—简明易用的
预训练模型管理框架2
1.2.2PARL—基于飞桨PaddlePaddle
的深度强化学习框架3
1.2.3AutoDLDesign—让深度学习
来设计深度学习4
1.2.4VisualDL—深度学习可视化
工具库5
1.2.5模型转换工具X2Paddle5
1.3飞桨PaddlePaddle在百度内部
支持的案例6
1.4飞桨PaddlePaddle与TensorFlow的
对比7
1.5AIStudio简介8
1.6在AIStudio中创建项目9
1.6.1用户界面简介9
1.6.2创建并运行一个项目10
1.7AIStudio单机项目概述11
1.7.1页面概览11
1.7.2复制项目12
1.7.3VisualDL工具的使用13
1.8Notebook环境使用说明14
1.8.1Notebook页面概览14
1.8.2操作区14
1.8.3Notebook内容编辑区15
1.8.4侧边栏21
1.8.5工具栏23
1.9AIStudio集群项目23
1.9.1集群项目说明23
1.9.2创建集群项目24
1.9.3页面概览25
1.9.4代码编辑界面25
1.9.5文件管理和数据集区域26
1.9.6文件预览编辑和提交任务
区域27
1.9.7PaddlePaddle集群训练说明27
1.9.8数据集与输出文件路径说明28
1.9.9提交任务29
1.9.10历史任务29
1.9.11预安装包说明30
1.10在线部署及预测31
1.10.1功能说明31
1.10.2通过训练任务生成模型文件32
1.10.3创建一个在线服务34
1.10.4测试沙盒服务39
1.10.5部署在线服务40
1.10.6调用在线服务41
1.11NumPy常规操作及使用42
第2章PaddlePaddleFluid的环境
搭建与安装50
2.1在Linux系统中安装
PaddlePaddle50
2.1.1租用百度BCC云服务器50
2.1.2安装前的准备工作56
2.1.3通过pip安装PaddlePaddle58
2.1.4在Docker中安装
PaddlePaddle59
2.2在Windows系统中安装
PaddlePaddle64
2.2.1WindowsGPU驱动环境安装64
2.2.2下载并安装CUDA65
2.2.3安装cuDNN68
2.2.4安装PaddlePaddle69
2.3在macOS系统中安装
PaddlePaddle69
2.3.1安装Python369
2.3.2安装PaddlePaddle71
第3章PaddlePaddle深度学习入门—
在MNIST上进行手写
数字识别72
3.1引言72
3.2模型概览73
3.2.1Softmax回归模型73
3.2.2多层感知器74
3.2.3卷积神经网络75
3.3数据介绍78
3.4PaddlePaddle的程序配置过程79
3.4.1程序说明79
3.4.2配置inference_program79
3.4.3配置train_program81
3.4.4配置optimizer_program82
3.4.5配置数据集reader82
3.5构建训练过程83
3.5.1事件处理程序配置83
3.5.2开始训练84
3.6应用模型86
3.6.1生成待预测的输入数据87
3.6.2Inference创建及预测87
3.6.3预测结果87
3.7小结88
第4章PaddlePaddle设计思想与
核心技术89
4.1编译时与运行时的概念89
4.2Fluid内部执行流程90
4.3Program设计简介91
4.4Block简介92
4.5Block和Program的设计细节93
4.6框架执行器设计思想94
4.6.1代码示例95
4.6.2创建框架执行器95
4.6.3运行框架执行器96
4.7示例96
4.7.1定义Program96
4.7.2创建框架执行器98
4.7.3运行框架执行器99
4.8LoDTensor数据结构解读99
4.8.1LoD索引100
4.8.2LoDTensor在PaddlePaddle
中的表示方法101
4.8.3LoDTensor的API103
4.8.4LoDTensor的使用示例105
4.9动态图机制——DyGraph107
4.9.1动态图设置和基本用法108
4.9.2基于DyGraph构建网络109
4.9.3使用DyGraph训练模型110
4.9.4模型参数的保存115
4.9.5模型评估116
4.9.6编写兼容的模型118
第5章独孤九剑—经典图像分类
网络实现119
5.1图像分类网络现状119
5.2VGG16图像分类任务123
5.2.1定义网络结构124
5.2.2定义推理程序127
5.2.3定义训练程序127
5.2.4实例化训练对象128
5.2.5读取数据128
5.2.6编写事件处理程序并
启动训练129
5.2.7执行模型预测130
5.3模块化设计GoogleNet135
5.4Alexnet模型实现142
5.5Resnet模型实现146
5.6MobileNetV2模型实现149
5.7ShuffleNetV2模型实现154
第6章“天网”系统基础—
目标检测159
6.1目标检测简介160
6.2对R-CNN系列算法的探索历史161
6.2.1R-CNN算法：目标检测
开山之作161
6.2.2SPP网络164
6.2.3FastR-CNN166
6.2.4FasterR-CNN167
6.3单步目标检测算法177
6.3.1统一检测算法YOLO178
6.3.2SSD基本原理181
6.3.3SSD在训练时的匹配策略185
6.3.4使用PaddlePaddle实现
SSD网络186
6.4PyramidBox203
6.4.1提出PyramidBox方法的
背景204
6.4.2PyramidBox网络结构205
6.4.3PyramidBox的创新点208
6.4.4PyramidBox的PaddlePaddle
官方实现210
第7章“天网”系统进阶—像素级
物体分割221
7.1物体分割简介221
7.2语义分割与实例分割的关系222
7.3语义分割222
7.3.1语义分割的任务描述223
7.3.2全卷积网络224
7.3.3ParseNet229
7.3.4u-net229
7.3.5v-net231
7.3.6u-net变体网络231
7.3.7PSPNet233
7.3.8ICNet234
7.3.9DeepLabv3+241
7.4实例分割249
7.4.1实例分割概述249
7.4.2MaskR-CNN250
第8章从零开始了解NLP
技术—word2vec263
8.1初识NLP263
8.2词向量简介265
8.3如何得到词向量模型268
8.4词向量模型概览269
8.4.1语言模型269
8.4.2N-Gram模型269
8.4.3CBOW模型270
8.4.4Skip-Gram271
8.4.5词ID271
8.5通过PaddlePaddle训练
CBOW模型273
8.5.1CBOW模型训练过程273
8.5.2数据预处理274
8.5.3编程实现274
8.5.4模型应用278
8.6小结280
第9章feed流最懂你—
个性化推荐282
9.1引言282
9.2推荐网络模型设计283
9.2.1YouTube的深度神经网络
个性化推荐系统284
9.2.2融合推荐模型286
9.3电影推荐实验290
9.3.1数据介绍与下载290
9.3.2模型配置说明292
9.3.3训练模型295
9.3.4应用模型298
9.4小结299
第10章让机器读懂你的心—
情感分析技术300
10.1情感分析及其作用300
10.2模型设计303
10.3情感分析实验308
第11章NLP技术深入理解—
语义角色标注315
11.1引言315
11.2模型概览317
11.2.1栈式循环神经网络317
11.2.2双向循环神经单元318
11.2.3条件随机场319
11.2.4深度双向LSTMSRL模型320
11.3使用PaddlePaddle实现SRL
任务322
11.3.1数据预处理322
11.3.2进行PaddlePaddle实验324
11.4小结331
第12章NLP技术的应用—
机器翻译332
12.1引言332
12.2效果展示333
12.3模型概览333
12.3.1时间步展开的双向循环
神经网络333
12.3.2编码器-解码器框架334
12.3.3柱搜索算法337
12.4机器翻译实战337
12.4.1数据预处理337
12.4.2模型配置338
12.4.3训练模型342
12.4.4应用模型343
第13章PaddlePaddle移动端及嵌入式
框架—Paddle-Mobile345
13.1Paddle-Mobile简介345
13.2Paddle-Mobile优化与适配346
13.2.1包压缩346
13.2.2工程结构编码前重新设计347
13.3移动端主体识别和分类350
13.3.1接近在云端的神经网络
技术应用352
13.3.2移动端业界案例353
13.3.3在移动端应用深度学习
技术的难点355
13.3.4AR实时翻译问题的
解决方案356
13.4编译与开发Paddle-Mobile
平台库359
13.5开发一个基于移动端深度学习
框架的AndroidAPP360
13.6Paddle-Mobile设计思想368
第14章百度开源高速推理引擎——
Anakin374
14.1Anakin架构与性能375
14.2Anakin的特性379
14.2.1支持众多异构平台379
14.2.2高性能379
14.2.3汇编级的kernel优化382
14.2.4Anakin值得一提的
技术亮点382
14.3Anakin的使用方法384
14.3.1Anakin的工作原理384
14.3.2Anakinv2.0API385
14.4示例程序393
附录ATensorFlow与PaddlePaddleFluid
接口中常用层对照表394
附录BCaffe与PaddlePaddleFluid
接口中常用层对照表401