大数据架构之道与项目实战

大数据和人工智能技术发展正当时，如何快速构建一个高水平的企业级大数据平台是撰写本书的出发点。本书从总体技术要求出发，深入分析了全栈技术的各自优势和应用场景，传授了三十多种主流技术的架构设计、技术原理和集成方法。章介绍企业级大数据平台服务的总体设计，突出研究经典设计模式之美、吸纳分布式技术的精髓、深耕微架构的演变内涵。第2章～第9章是项目实战环节，介绍高并发采集、灵活转发、高可扩展海量存储、高并发海量存储、高可靠海量存储、实时计算、智能分析和自定义迁移等微服务，手把手传授架构设计和核心代码，让读者掌握商用微服务产品开发全流程。

  

第1章 企业级大数据平台服务的总体设计
1.1 平台架构设计的总体技术要求
1.2 微服务引擎的可扩展性设计
1.3 微服务引擎的优秀解决方案
1.3.1 高并发采集微服务
1.3.2 灵活转发微服务
1.3.3 高可扩展海量存储服务
1.3.4 高并发海量存储服务
1.3.5 高可靠海量存储服务
1.3.6 实时计算服务
1.3.7 基于机器学习的智能分析服务
1.3.8 自定义迁移服务
1.4 设计小结
第2章 大数据高并发采集微服务引擎
2.1 核心需求分析和优秀解决方案
2.2 服务引擎的技术架构设计
2.2.1 Maven与 Eclipse集成配置
2.2.2 Mina2.0 框架以及业务设计
2.2.3 设备协议规范制定及数据包设计
2.2.4 按照设备和数据类型进行业务树构建
2.2.5 按照设备的数据包状态进行解析
2.2.6 按照通用方式进行高并发入库
2.3 核心技术讲解及模块化设计
2.3.1 Spring Maven Web服务构建
2.3.2 Spring Boot微服务构建
2.3.3 数据包定义和实现
2.3.4 业务树构建和实现
2.3.5 数据包状态进行解析实现
2.3.6 按照通用方式进行高并发入库实现
2.3.7 客户端模拟器工具类进行高并发测试
2.4 项目小结
第3章 大数据灵活转发微服务引擎
3.1 核心需求分析和优秀解决方案
3.2 服务引擎的技术架构设计
3.3 核心技术讲解及模块化实现
3.3.1 Spring MVC Web服务构建
3.3.2 Spring Boot微服务构建
3.3.3 灵活配置和通用工具类构建
3.3.4 创建发送数据主题，注册观察者对象
3.3.5 启动多线程进行数据发送
3.3.6 采用 Post策略模式进行数据发送
3.3.7 采用 ActiveMQ策略模式进行数据发送
3.4 项目小结
4.1 核心需求分析和优秀解决方案
4.2 服务引擎的技术架构设计
4.3 核心技术讲解及模块化实现
4.3.1 Spring MVC的工作原理及执行流程
4.3.2 Spring MVC Web服务构建
4.3.3 Spring Boot Web微服务构建
4.3.4 统一对外数据接收接口及通用类
4.3.5 MySQL对智能终端运动数据的分状态和分策略处理
4.3.6 MySQL对智能终端运动数据的分职责处理
4.3.7 MySQL对智能终端运动数据的统一入库处理
4.4 项目小结
第5章 大数据高并发海量存储微服务引擎
5.1 核心需求分析和优秀解决方案
5.2 服务引擎的技术架构设计
5.3 核心技术讲解及模块化实现
5.3.1 Spring MVC和 Spring Boot集成 MongoDB
5.3.2 MongoTemplate核心类实现 Dao层接口
5.3.3 基于 MongoDB处理智能终端运动数据
5.3.4 基于 MongoDB管道技术处理体检数据
5.3.5 基于 AngularJS架构可视化体检数据
5.4 项目小结
第6章 大数据高可靠海量存储微服务引擎
6.1 核心需求分析和优秀解决方案
6.2 服务引擎的技术架构设计
6.3 核心技术讲解及模块化实现
6.3.1 Hadoop接近分布式集群构建
6.3.2 Spring MVC和 Spring Boot集成 Hbase
6.3.3 HbaseTemplate核心类实现 Dao层接口
6.3.4 Hbase集群的智能终端运动数据 Controller接口
6.3.5 Hbase集群的智能终端运动数据 Service接口
6.3.6 Hbase集群的智能终端运动数据 Dao接口
6.4 项目小结
第7章 大数据实时计算微服务引擎
7.1 核心需求分析和优秀解决方案
7.2 服务引擎的技术架构设计
7.3 核心技术讲解及模块化实现
7.3.1 分布式采集服务 Flume部署及数据采集
7.3.2 分布式消息服务 Kafka部署及数据发送
7.3.3 创建 HBase数据库和 Spark环境
7.3.4 分布式实时处理引擎 Spark Streaming原理及数据处理
7.3.5 构建 BD_RTPServer_DP工程实现数据处理
7.3.6 构建 BD_RTPServer_Boot服务实现可视化
7.4 项目小结
第8章 大数据智能分析微服务引擎
8.1 核心需求分析和优秀解决方案
8.2 服务引擎的技术架构设计
8.3 核心机器学习算法讲解和应用
8.3.1 逻辑回归的原理分析
8.3.2 支持向量机原理分析
8.3.3 决策树原理分析
8.3.4 聚类算法原理分析
8.3.5 关联规则算法原理分析
8.3.6 协同过滤原理分析
8.4 Spark架构原理与数据预测
8.4.1 YARN运行架构工作原理
8.4.2 Spark Mlib核心技术
8.4.3 Spring Maven工程构建
8.4.4 决策树预测体检费用
8.4.5 逻辑回归预测体检费用
8.4.6 随机森林预测体检费用
8.4.7 支持向量机预测疾病概率
8.4.8 协同过滤推荐药品
8.5 项目小结
第9章 大数据自定义迁移微服务引擎
9.1 核心需求分析和优秀解决方案
9.2 服务引擎的技术架构设计
9.3 核心技术讲解及模块化实现
9.3.1 Hadoop生态的核心组件
9.3.2 HBase工作原理
9.3.3 Sqoop工作原理
9.3.4 MapReduce工作原理
9.3.5 Sqoop抽取历史数据到 HDFS
9.3.6 构建工程 BD_CustomTransfer_Maven
9.3.7 智能终端运动数据从 MySQL数据迁移到 Hive
9.4 项目小结