数据技术基础

本书撰写基于理论与实践相结合的原则，注重数据技术方法体系及其在智能制造业务中的应用介绍，能够为智能制造工程、机械工程、自动化、计算机等相关领域高校的本科生提供理论基础和实践案例，同样可为智能制造相关科研人员、企业从业人员提供技术指导，为制造业信息化、智能化的咨询和实施人员提供参考。

本书针对智能制造中的数据技术基础展开介绍，在概要阐述数据技术基本概念与发展历程之后，围绕智能制造中的业务数据化特点，从数据生命周期与数据管理流程角度，依次对智能制造中的主要数据技术及其应用情况进行了详细介绍。本书撰写基于理论与实践相结合的原则，注重数据技术方法体系及其在智能制造业务中的应用介绍，能够为智能制造工程、机械工程、自动化、计算机等相关领域高校的本科生提供理论基础和实践案例，同样可为智能制造相关科研人员、企业从业人员提供技术指导，为制造业信息化、智能化的咨询和实施人员提供参考。

张洁，东华大学机械工程学院院长，教授。1997年毕业于南京航空航天大学机械制造专业，获博士学位。以博士后或访问学者身份，先后在华中科技大学、香港大学、法国里昂二大、美国加州大学伯克利分校从事研究工作。长期致力于将优选制造技术与优选管理理念和IT技术结合，在智能制造与大数据、智能信息采集系统、智能物流管理系统、智能优化算法、智能制造执行系统、大数据驱动的车间性能分析与运行决策等方面进行了深入研究。

第1章绪论
1.1基本概念
1.1.1数据定义
1.1.2数据元素
1.1.3数据维度
1.1.4数据结构
1.1.5数据模型
1.2数据特征
1.2.1数据类型多样
1.2.2数据潜在价值高
1.2.3数据应用广泛
1.2.4大数据带来挑战
1.3大数据时代
1.3.1大数据的内涵与特征
1.3.2业务数据化
1.3.3大数据时代的新理念
1.3.4大数据时代的新术语
1.3.5大数据生命周期管理
1.4数据技术
1.5全书主要内容与章节安排
本章小结
习题
参考文献

第2章数据感知技术
2.1标识与解析技术
2.1.1条码技术
2.1.2磁卡技术
2.1.3RFID技术
2.1.4二维码技术
2.1.5生物特征技术
2.2传感器技术
2.2.1光学传感技术
2.2.2力学传感技术
2.2.3图像传感技术
2.2.4智能传感技术
2.3定位技术
2.3.1iGPS定位技术
2.3.2基站定位技术
2.3.3ZigBee定位技术
2.3.4UWB定位技术
2.3.5Wi-Fi定位技术
2.4群智感知技术
2.4.1群智感知架构
2.4.2群智感知的实现过程
2.4.3群智感知的应用
2.5应用案例
本章小结
习题
参考文献

第3章数据预处理技术
3.1数据质量分析
3.1.1统计学规律
3.1.2语言学规律
3.1.3数据连续性理论
3.1.4探索性数据分析
3.2基于数据质量分析的数据预处理过程
3.3常用数据预处理技术
3.3.1数据审计
3.3.2数据清洗
3.3.3数据转换
3.3.4数据集成
3.4其他数据预处理技术
3.5应用案例
本章小结
习题
参考文献

第4章数据分析技术
4.1描述统计方法
4.1.1正态分布
4.1.2χ2分布
4.1.3t分布
4.1.4F分布
4.2推断统计方法
4.2.1参数估计
4.2.2假设检验
4.3基本分析方法
4.3.1相关分析
4.3.2回归分析
4.3.3方差分析
4.3.4分类分析
4.3.5聚类分析
4.3.6时间序列分析
4.3.7关联规则分析
4.4元分析方法
4.4.1加权平均法
4.4.2优化方法
4.5应用案例
本章小结
习题
参考文献

第5章数据挖掘技术
5.1数据挖掘的任务类型
5.2数据挖掘过程
5.2.1目标规划
5.2.2目标函数
5.2.3训练算法
5.3数据挖掘方法
5.3.1实例学习方法
5.3.2决策树方法
5.3.3人工神经网络方法
5.3.4贝叶斯网络方法
5.3.5强化学习方法
5.4典型的挖掘算法
5.4.1k均值算法
5.4.2k近邻算法
5.4.3支持向量机算法
5.4.4ID3算法
5.4.5CNN算法
5.5应用案例
本章小结
习题
参考文献

第6章数据可视化技术
6.1数据可视化的作用
6.1.1数据可视化的背景与分支
6.1.2数据可视化的应用领域
6.2数据可视化的流程
6.2.1顺序模型
6.2.2循环模型
6.2.3分析模型
6.3数据可视化的维度
6.3.1时间数据可视化
6.3.2比例数据可视化
6.3.3关系数据可视化
6.3.4文本数据可视化
6.3.5复杂数据可视化
6.4数据可视化的常用方法
6.4.1统计图方法
6.4.2图论方法
6.4.3视觉隐喻方法
6.4.4图形符号学方法
6.4.5面向领域的方法
6.4.6VR/AR方法
6.5应用案例
本章小结
习题
参考文献

第7章数据计算技术
7.1计算模式的演变
7.1.1集中式计算
7.1.2分布式计算
7.1.3网格计算
7.1.4云计算
7.2主流计算框架MapReduce
7.2.1基本原理
7.2.2功能特点
7.2.3下一代MapReduce框架YARN
7.3主流计算平台Hadoop
7.3.1Hadoop简介
7.3.2Hadoop的总体架构
7.3.3Hadoop的工作流程
7.3.4Hadoop生态系统
7.4应用案例
本章小结
习题
参考文献

第8章数据存储与管理技术
8.1数据存储技术
8.1.1磁盘阵列
8.1.2直接连接存储
8.1.3存储区域网络
8.1.4网络附加存储
8.2数据管理技术
8.2.1人工管理阶段
8.2.2文件系统阶段
8.2.3数据库系统阶段
8.3数据存储与管理工具
8.3.1存储阵列系统
8.3.2Memcached
8.3.3MongoDB
8.3.4Cassandra
8.3.5HBase
8.4应用案例
本章小结
习题
参考文献

第9章数据安全技术
9.1数据生命周期安全问题及风险分析
9.1.1数据采集阶段
9.1.2数据存储阶段
9.1.3数据预处理、分析、挖掘与使用阶段
9.2数据加密技术
9.2.1基本知识
9.2.2数据传输加密技术
9.2.3数据存储加密技术
9.2.4典型加密技术——区块链技术
9.2.5加密技术的应用
9.3数据完整性技术
9.3.1数据完整性概述
9.3.2数据完整性主要技术
9.3.3数字证书管理
9.3.4数字证书的应用
9.4数据备份与还原
9.4.1数据备份与还原概述
9.4.2数据备份策略
9.5紧急事件与灾难恢复
9.5.1紧急事件
9.5.2灾难恢复
9.6数据安全案例
本章小结
习题
参考文献

第10章数据技术应用
10.1数据业务化
10.1.1产品全生命周期数据
10.1.2数据驱动的业务增值
10.2数字孪生模型
10.2.1产品数字孪生模型
10.2.2制造数字孪生模型
10.2.3工厂数字孪生模型
10.3数据驱动的业务场景
10.3.1智能产品设计
10.3.2智能生产调度
10.3.3智能物流规划
10.3.4智能工艺规划
10.3.5产品质量控制
10.4应用案例
本章小结
习题
参考文献