人工智能与大数据(卷1):基础概念和模型

1. 针对初学人士，对核心概念进行了详细的解释。 2. 理论和实操并重，采用了真实的案例和数据集进行演示。 3. 向读者展示如何使用开源编程语言（即R语言）将概念投入应用。 4. 章末提供有关概念和实际计算的习题，帮助读者进一步理解。 注意：本书作者为新加坡南洋理工大学高级讲师Chew Chee Hua（中文名：周志华）先生，与《机器学习》作者、南京大学周志华教授不是同一人。请各位读者不要混淆。

本书介绍了人工智能和大数据涉及的核心概念和模型。书中涉及概念包括监督和非监督学习、数据类型、可视化、线性回归、逻辑回归、分类回归树、神经网络等。同时，本书理论和实际并重，基于真实的实例和数据集，引入了R语言演示实际计算和操作，为读者展示解决实际问题的代码，从而让读者掌握在实际生活中解决相关问题的方法。 本书适合想要综合学习人工智能、大数据和数据科学，尤其是想要依靠这些学科解决实际问题的人学习，也适合作为相关课程的参考教材。

 

第1章介绍和概述1
1.1主要的成功案例和应用1
1.1.1Netflix的120亿美元营收目标1
1.1.2在医院急诊部使用有限的信息拯救生命3
1.1.3癌症诊断与损伤预后5
1.1.4从零开始使用低预算连续赢得20场比赛6
1.1.5壳牌公司深海石油钻探的预测性资产维护7
1.1.6预测选举结果8
1.1.7星展银行预测现金需求和优化调度9
1.1.8新加坡税务局检测税务欺诈10
1.1.9违规和欺诈贷款风险检测11
1.2适合ADA解决的问题特征12
1.3数据分析、数据科学和人工智能的区别13
1.4analysis和analytics14
1.5组织ADA能力的发展曲线15
1.6规划、开发和部署ADA18
1.7四大预测模型19
第2章基本概念和原则21
2.1本章目标21
2.2可视化和模型21
2.3监督学习和无监督学习24
2.4模型的可解释性25
2.5原则1：正确模型不专享26
2.5.1模型和等式28
2.5.2评估预测模型29
2.6原则2：训练数据和测试数据分离31
2.6.1在训练-测试拆分前进行分层33
2.6.2有效地执行分层和训练-测试拆分34
2.6.3训练集与测试集之间的权衡39
2.7原则3：风险校正模型39
2.7.1多项式插值定理的影响40
2.7.2模型复杂度41
第3章数据探索和摘要47
3.1本章目标47
3.2数据初探和R语言的data.table47
3.2.1data.table的语法48
3.2.2示例：2014年的纽约航班48
3.2.3行筛选51
3.2.4列排序52
3.2.5筛选几列并进行重命名53
3.2.6进一步的数据探索和问题53
3.3公共用途微观样本数据59
3.3.1探索PUMS中的健康保险覆盖面数据60
3.3.2在R中导入数据和摘要概述61
3.3.3缺失值概述66
3.3.4绘制单一连续变量的图形摘要——概率密度67
3.3.5绘制单一分类变量的图形摘要——条形图71
3.3.6绘制分类变量X和连续变量Y的图形摘要——箱线图73
3.3.7绘制连续变量X和连续变量Y的图形摘要——散点图75
3.3.8绘制连续变量X和分类变量X的图形摘要——抖动
散点图76
3.4结论79
第4章数据结构和可视化83
4.1本章目标83
4.2数据结构的格式83
4.3检查数据结构85
4.3.1连续数据和分类数据85
4.3.2定类数据与定序数据87
4.4可视化90
4.5结论93
第5章数据清洗和准备95
5.1本章目标95
5.2缺失值95
5.2.1更正不一致的缺失值记录96
5.2.2NA和NULL98
5.2.3处理（真实存在的）缺失值99
5.3处理分类数据中的NA和错误值100
5.4处理连续数据中的NA和错误值100
5.5结论102
第6章线性回归：很好实践105
6.1本章目标105
6.2相关性105
6.2.1强相关和因果关系108
6.2.2强相关和直线关系109
6.2.3弱相关性和无趋势110
6.3单输入变量的线性回归112
6.4多重R方和调整R方115
6.5线性回归方程和线性回归模型117
6.6模型诊断图118
6.7有影响力的异常值119
6.8向模型中增加一个二次项121
6.9多因子的线性回归123
6.10训练-测试拆分135
6.11结论137
第7章逻辑回归：很好实践140
7.1本章目标140
7.2相对风险和胜算比140
7.3单一连续输入变量的二元逻辑回归145
7.3.1示例：基于学习时长预测考试结果148
7.3.2逻辑回归的混淆矩阵152
7.4多输入变量的二元逻辑回归154
7.5多元逻辑回归159
7.5.1多分类值Y的逻辑函数160
7.5.2示例：影响服务评级的因素161
7.6结论166
第8章分类回归树171
8.1本章目标171
8.2预测心脏病发作的模型和要求172
8.3阶段1：使用二分法将树增长到优选值175
8.3.1度量分类变量结点的杂质176
8.3.2CART树的增长过程179
8.4阶段2：用最弱连接剪枝法将树修剪到最小值180
8.4.1最弱连接剪枝182
8.4.2rpart包中的α和cp185
8.4.3k折交叉验证和1标准误差规则185
8.5示例：CART模型在定向信用卡营销中的运用（Y为分类数据）187
8.6示例：CART模型在汽车燃油效率中的运用（Y为连续数据）198
8.7通过代理项自动处理缺失值205
8.8结论211
8.9rpart包的重要函数和参数总结212
第9章神经网络219
9.1本章目标219
9.2大脑处理信息过程的建模220
9.3信息的处理、关联和传输221
9.4示例：巧克力口味测试222
9.5通过增加权重训练神经网络226
9.5.1反向传播226
9.5.2弹性反向传播和权重回溯228
9.6设计神经网络需要考虑的细节229
9.6.1规范所有输入变量的取值范围229
9.6.2网络复杂度230
9.6.3neuralnet和nnet230
9.7示例：不孕风险231
9.8结论236、
第10章字符串和文本挖掘240
10.1本章目标240
10.2处理字符串240
10.3基本的文本挖掘概念247
10.3.1示例：对期刊标题进行分析的字符串操作249
10.3.2示例：对期刊标题分析的文本挖掘操作252
10.3.3文档要素矩阵256
10.3.4非索引字257
10.4情绪分析259
10.5结论266
第11章结束感想和后续计划269
附录AR和RStudio的安装271
A.1下载安装R271
A.2下载安装RStudio273
A.3在RStudio中将R升级到近期新版本274
附录B基本的R命令和脚本275
B.1RStudio界面的4个面板275
B.2检查和设置工作目录280
B.3将数据输入RStudio281
B.4R中的对象命名约定284
B.5R中的通用运算符285
B.6R函数285
B.7创建你自己的R函数287
B.8练习R288