大数据系统运维

《大数据系统运维》是大数据应用人才培养系列教材中的一册，讲解了大数据系统运行维护过程中的各个主要阶段及其任务，包括配置管理、系统管理、故障管理、性能管理、安全管理、高可用性管理、应用变更管理、升级管理及服务资源管理，内容全面且翔实，兼具基础理论知识与运维实践经验，特别是重点介绍了大数据系统的运维特点及运维技能，以保障大数据系统的稳定可靠运行，更好地支撑大数据的商业应用价值。本书具有很强的系统性和实践指导性，可以作为培养应用型人才的课程教材，也同样适合于有意从事IT系统运维工作的广大从业者和爱好者作为参考书。

姜才康，华东计算所硕士毕业，现任中国外汇交易中心工程运行部总经理。长期从事银行间市场(含外汇市场、货币市场、债券市场、衍生品市场)的系统设计开发、系统运维、标准制定等工作。

第1章配置管理
1.1配置管理内容2
1.1.1配置管理术语定义2
1.1.2应用软件配置3
1.1.3硬件配置4
1.2配置管理方法8
1.2.1配置流程9
1.2.2配置自动发现13
1.3配置管理工具14
1.3.1CMDB数据库介绍与实践14
1.3.2自动配置工具17
1.3.3云时代下的CMDB29
1.4其他运维工具29
1.4.1Ambari29
1.4.2CLI工具32
1.4.3Ganglia33
1.4.4ClouderaManager34
1.4.5其他工具38
1.5作业与练习39
参考文献39
第2章系统管理及日常巡检
2.1系统建设40
2.1.1技术方案41
2.1.2部署实施43
2.1.3测试验收47
2.2系统管理对象48
2.2.1系统管理对象48
2.2.2系统软件49
2.2.3系统硬件61
2.2.4系统数据62
2.2.5IT供应商62
2.3系统管理内容63
2.3.1事件管理64
2.3.2问题管理64
2.3.3配置管理65
2.3.4变更管理66
2.3.5发布管理66
2.3.6知识管理67
2.3.7日志管理67
2.3.8备份管理68
2.4系统管理工具68
2.4.1资产管理69
2.4.2监控管理69
2.4.3流程管理70
2.4.4外包管理71
2.5系统管理制度规范71
2.5.1系统管理标准71
2.5.2系统管理制度72
2.5.3系统管理规范72
2.6日常巡检73
2.6.1检查内容分类73
2.6.2巡检方法分类74
2.6.3巡检流程75
2.7作业与练习76
参考文献77
第3章故障管理
3.1集群结构78
3.2故障报告80
3.2.1发现80
3.2.2影响分析81
3.3故障处理82
3.3.1故障诊断82
3.3.2故障排除83
3.4故障后期管理84
3.4.1建立和更新知识库84
3.4.2故障预防85
3.5作业与练习86
参考文献86
第4章性能管理
4.1性能分析87
4.1.1性能因子87
4.1.2性能指标88
4.2性能监控工具90
4.2.1GUI90
4.2.2集群CLI94
4.2.3操作系统自带工具99
4.2.4Ganglia105
4.2.5其他监控工具107
4.3性能优化107
4.3.1Hadoop集群配置规划优化107
4.3.2Hadoop性能优化108
4.3.3作业优化112
4.4作业与练习120
参考文献120
第5章安全管理
5.1安全概述121
5.2资产安全管理122
5.2.1环境设施安全122
5.2.2设备安全123
5.3应用安全123
5.3.1技术安全123
5.3.2数据安全127
5.4安全威胁129
5.4.1人为失误129
5.4.2外部攻击131
5.4.3信息泄密132
5.4.4灾害133
5.5安全措施133
5.5.1安全制度规范133
5.5.2安全防范措施134
5.6作业与练习135
参考文献136
第6章高可用性管理
6.1高可用性概述137
6.2高可用性技术138
6.2.1系统架构138
6.2.2容灾140
6.2.3监控140
6.2.4故障转移148
6.3业务连续性管理149
6.3.1灾备系统149
6.3.2应急预案153
6.3.3日常演练154
6.4作业与练习155
第7章应用变更管理
7.1变更管理概述156
7.1.1变更管理目标156
7.1.2变更管理范围156
7.1.3变更管理的种类157
7.1.4变更管理的原则157
7.2变更管理流程158
7.2.1变更的组织架构158
7.2.2变更的管理策略158
7.2.3变更的流程控制158
7.2.4变更管理流程158
7.3变更配置管理161
7.4作业与练习161
参考文献161
第8章升级管理
8.1Hadoop升级管理162
8.1.1Hadoop升级风险163
8.1.2HDFS的数据和元数据升级163
8.1.3YARN升级配置164
8.2Spark升级管理164
8.2.1Spark特性165
8.2.2Spark生态系统166
8.3HiveSQL升级管理166
8.3.1HiveSQL体系结构167
8.3.2安装配置167
8.4ZooKeeper升级管理169
8.4.1单机模式169
8.4.2集群模式170
8.5作业与练习171
参考文献172
第9章服务资源管理
9.1业务能力管理173
9.1.1业务需求评估173
9.1.2业务需求趋势预测174
9.2服务能力管理176
9.2.1人员能力动态管理176
9.2.2服务成本动态管理177
9.2.3技术与工具管理179
9.3服务资源整合179
9.3.1不同角色的责权划分179
9.3.2用户、供应商、厂商的典型协作方式181
9.4作业与练习183
参考文献184
附录A大数据和人工智能实验环境
附录BHadoop环境要求
附录C名词解释