神经网络与深度学习 案例与实践

随着人工智能与各行各业的结合愈加紧密，人才的短缺将是一个长期挑战，未来需要越来越多的既懂AI技术又具备产业经验的复合型AI人才。一直以来，飞桨联合学术界和产业界，持续探索人工智能产教融合，形成了集人才培养、科技创新、学科建设为一体的综合性产学合作创新方案，培养了大量AI人才。本书即是产教融合的成果，其章节设计与邱锡鹏教授的著作《神经网络与深度学习》（蒲公英书）一一对应，案例代码基于飞桨平台，简洁易用，便于读者理解和动手实践。

飞桨教材编写组是隶属于北京百度网讯科技有限公司的虚拟业务组织，其所有权利和义务归属北京百度网讯科技有限公司所有。 邱锡鹏，复旦大学计算机学院教授，国家优青获得者，于复旦大学获得理学学士和理学博士学位。主要从事自然语言处理、深度学习等方向的研究，发表CCF A/B类论文70余篇，获得ACL 2017杰出论文奖（CCF A类）、CCL 2019很好论文奖，有4篇论文入选PaperDigest发布的IJCAI/ACL/EMNLP的最有影响力论文（各会议每年10篇）。主持开发了开源框架FudanNLP和FastNLP，这两个框架已被国内外数百家单位使用。2015年入选首届中国科协青年人才托举工程，2018年获钱伟长中文信息处理科学技术奖青年创新奖一等奖，2020和2021年连续两年入选由清华-中国工程院知识智能联合研究中心发布的“AI 2000人工智能Q球Z具影响力提名学者”等。培养的学生曾获中国中文信息学会优博、中国人工智能学会优博、上海市优博、微软学者、百度奖学金等。 飞桨教材编写组成员包括：安梦涛、毕然、迟恺、程军、吕健、、刘其文、林天扬、马艳军、文灿、吴高升、吴蕾、汪庆辉、吴甜、徐彤彤、于佃海、张翰迪、张一超、张亚娴

序
前言
第1章 实践基础
1.1 如何运行本书的代码
1.1.1 本地运行
1.1.2 代码下载与使用方法
1.1.3 在线运行
1.2 张量
1.2.1 创建张量
1.2.2 张量的属性
1.2.3 张量与Numpy数组转换
1.2.4 张量的访问
1.2.5 张量的运算
1.3 算子
1.3.1 算子定义
1.3.2 自动微分机制
1.3.3 预定义的算子
1.3.4 本书中实现的算子
1.3.5 本书中实现的优化器
1.4 本书中使用的数据集和实现的Dataset类
1.4.1 数据集
1.4.2 Dataset类
1.5 本书中实现的Runner类
1.6 小结
第2章 机器学习概述
2.1 机器学习实践五要素
2.1.1 数据
2.1.2 模型
2.1.3 学习准则
2.1.4 优化算法
2.1.5 评价指标
2.2 实现一个简单的线性回归模型
2.2.1 数据集构建
2.2.2 模型构建
2.2.3 损失函数
2.2.4 优化器
2.2.5 模型训练
2.2.6 模型评价
2.3 多项式回归
2.3.1 数据集构建：ToySin25
2.3.2 模型构建
2.3.3 模型训练
2.3.4 模型评价
2.3.5 通过引入正则化项来缓解过拟合
2.4 构建Runner类
2.5 实践：基于线性回归的波士顿房价预测
2.5.1 数据处理
2.5.2 模型构建
2.5.3 完善Runner类：RunnerV1
2.5.4 模型训练
2.5.5 模型评价
2.5.6 模型预测
2.6 小结
第3章 线性分类
3.1 基于Logistic回归的二分类任务
3.1.1 数据集构建
3.1.2 模型构建
3.1.3 损失函数
3.1.4 模型优化
3.1.5 评价指标
3.1.6 完善Runner类：RunnerV2
3.1.7 模型训练
3.1.8 模型评价
3.2 基于Softmax回归的多分类任务
3.2.1 数据集构建
3.2.2 模型构建
3.2.3 损失函数
第3章 线性分类
3.1 基于Logistic回归的二分类任务
3.1.1 数据集构建
3.1.2 模型构建
3.1.3 损失函数
3.1.4 模型优化
3.1.5 评价指标
3.1.6 完善Runner类：RunnerV2
3.1.7 模型训练
3.1.8 模型评价
3.2 基于Softmax回归的多分类任务
3.2.1 数据集构建
3.2.2 模型构建
3.2.3 损失函数
3.2.4 模型优化
3.2.5 模型训练
3.2.6 模型评价
3.3 实践：基于Softmax回归完成鸢尾花分类任务
3.3.1 数据处理
3.3.2 模型构建
3.3.3 模型训练
3.3.4 模型评价
3.3.5 模型预测
3.4 小结
第4章 前馈神经网络994.1神经元
4.1.1 净活性值
4.1.2 激活函数
4.2 基于前馈神经网络的二分类任务
4.2.1 数据集构建
4.2.2 模型构建
4.2.3 损失函数
4.2.4 模型优化
4.2.5 完善Runner类：RunnerV2
4.2.6 模型训练
4.2.7 模型评价
4.3 自动梯度计算和预定义算子
4.3.1 利用预定义算子重新实现前馈神经网络
4.3.2 完善Runner类：RunnerV2
4.3.3 模型训练
4.3.4 模型评价
4.4 优化问题
4.4.1 参数初始化
4.4.2 梯度消失问题
4.4.3 死亡ReLU问题
4.5 实践：基于前馈神经网络完成鸢尾花分类任务
4.5.1 小批量梯度下降法
4.5.2 数据处理
4.5.3 模型构建
4.5.4 完善Runner类：RunnerV3
4.5.5 模型训练
4.5.6 模型评价
4.5.7 模型预测
……