大数据系统运维(第2版）

   本书是大数据应用人才培养系列教材中的一册，讲解了大数据系统运行维护过程中的各个主要阶段及其任务，包括配置管理、基础运维管理、故障管理、性能管理、安全管理、高可用性管理、变更及升级管理、运维场景应用及服务资源管理，内容全面且翔实，兼具基础理论知识与运维实践经验，特别是重点介绍了大数据系统的运维特点及运维技能，从而可以保障大数据系统的稳定可靠运行，更好地支撑大数据的商业应用价值。

本书在继承第1版基础的同时，巧妙融合了最新的运维方式和经验，构建出更加全面、深入的知识体系。第2版的特色体现在对日志排查的精妙思路，系统变更升级的成功经验以及云原生环境下的运维应用等领域的深度拓展，为运维工程师提供了丰富而实用的指导。通过这本书，读者将深入洞察当今大数据系统运维的精髓，从而提升自身实践技能，驾驭运维工作的新高度。

本书具有很强的系统性和实践指导性，可以作为培养应用型人才的课程教材，也可以作为从事IT系统运维工作的广大从业者和爱好者的参考用书。

"刘鹏，教授，清华大学博士毕业，现任南京云创大数据科技股份有限公司总经理，兼任中国大数据应用联盟人工智能专家委员会主任、中国信息协会教育分会人工智能教育专家委员会主任、教育部全国普通高校毕业生就业创业指导委员会委员、第45届世界技能大赛中国区云计算选拔赛裁判长/专家指导组组长、2019年全国大学生数学建模比赛命题人、工信部云计算研究中心专家。 姜才康，华东计算所硕士毕业，现任中国外汇交易中心工程运行部总经理。长期从事银行间市场（含外汇市场、货币市场、债券市场、衍生品市场）的系统设计开发、系统运维、标准制定等工作。主持或技术担纲完成了数十项全国性大型关键系统建设及重点研究项目，探索中国金融领域的系统建设技术路径及方法；构建全方位的银行间市场风险治理和运维安全体系；制定多项银行间市场技术规划及技术标准，建成并不断完善银行间市场技术生态圈。数十次获得人民银行科技发展奖和上海市科技进步奖。 李四明，软件工程硕士，副教授，系统分析师，获得国家科技进步奖三等奖，拥有多项软件著作专利；主持开发了医院HIS系统、移动临床系统、移动输液系统、移动药品实时监管系统、农民健康体检协同系统，承担过智慧城市、智慧社区的整体架构工作。"

第1章配置管理
1.1配置管理内容2
1.1.1配置管理术语定义2
1.1.2应用软件配置3
1.1.3硬件配置3
1.2配置管理方法7
1.2.1配置流程7
1.2.2配置自动发现11
1.3配置管理工具11
1.3.1CMDB数据库介绍与实践11
1.3.2自动配置工具14
1.3.3云时代下的CMDB24
1.4其他运维工具24
1.4.1Ambari24
1.4.2CLI工具26
1.4.3Ganglia27
1.4.4ClouderaManager28
1.4.5其他工具31
1.5作业与练习32
参考文献32
第2章基础运维管理
2.1系统建设33
2.1.1技术方案34
2.1.2部署实施35
2.1.3测试验收39
2.2系统管理对象40
2.2.1系统管理对象40
2.2.2系统软件40
2.2.3系统硬件42
2.2.4系统数据43
2.2.5IT供应商43
2.3系统管理内容44
2.3.1事件管理45
2.3.2问题管理45
2.3.3配置管理46
2.3.4变更管理46
2.3.5发布管理47
2.3.6知识管理47
2.3.7日志管理48
2.3.8备份管理48
2.4系统管理工具49
2.4.1资产管理49
2.4.2监控管理49
2.4.3流程管理50
2.4.4外包管理51
2.5系统管理制度规范51
2.5.1系统管理标准51
2.5.2系统管理制度51
2.5.3系统管理规范52
2.6日常巡检52
2.6.1检查内容分类52
2.6.2巡检方法分类53
2.6.3巡检流程54
2.7日志管理54
2.7.1平台及组件相关命令55
2.7.2日志和告警监控62
2.8作业与练习67
参考文献68
第3章故障管理
3.1集群结构69
3.2故障报告70
3.2.1故障发现70
3.2.2影响分析71
3.3故障处理72
3.3.1故障诊断72
3.3.2故障排除73
3.4故障后期管理74
3.4.1建立和更新知识库74
3.4.2故障预防74
3.5作业与练习75
参考文献75
第4章性能管理
4.1性能分析76
4.1.1性能因子76
4.1.2性能指标77
4.2性能监控工具78
4.2.1GUI79
4.2.2集群CLI82
4.2.3操作系统自带工具87
4.2.4Ganglia92
4.2.5其他监控工具95
4.3性能优化95
4.3.1Hadoop集群配置规划优化95
4.3.2Hadoop性能优化96
4.3.3作业优化100
4.4作业与练习108
参考文献108
第5章安全管理
5.1安全概述109
5.2资产安全管理110
5.2.1环境设施安全110
5.2.2设备安全110
5.3应用安全111
5.3.1技术安全111
5.3.2数据安全114
5.4安全威胁115
5.4.1人为失误115
5.4.2外部攻击116
5.4.3信息泄密122
……