PaaS实现与运维管理

本书主要阐述了云计算中PaaS平台的实现与运维管理，分为四大部分，分别是概念模型、基础资源、平台实现与运维管理，共十五章。第一部分阐述了运维与开发之间的关系、这层关系存在的矛盾，以及PaaS是如何有效缓解其矛盾的；第二部分勾勒出了数据中心的计算、网络、存储三大资源的主干，避免让人陷入上层的种种产品中；第三部分通过开源产品来构建一个完整的PaaS平台，包括资源管理、任务调度、计算单元打包、分布式协调、日志集中等；第四部分对运维管理进行了实践。本书适合运维工程师、运维管理人员，以及希望在PaaS上运行分布式、可伸缩、高可用的后端开发工程师阅读。

余何，呢称为“众神的大师兄”，湖南长沙人。国家软件设计师、PMP项目管理认证师、Juniper互联网专员（JNCIS）、NetApp解决方案架构师（NCSA）。高效运维公众号专栏作者。拥有十余年数据中心运维管理经验，先后任职于华为、平安科技，主导了平安IT基础架构改造、ML流程变革等重大项目。热衷于开源技术，广结天下英豪，以运维心灵捕手著称。

第一部分概念模型
第1章分布式PaaS平台介绍2
1.1什么是PaaS2
1.1.1开发与运维之间的困局2
1.1.2DevOps的自动化3
1.1.3云计算的IaaS4
1.1.4PaaS的到来4
1.1.5PaaS的约束与开放4
1.1.6PaaS解决的具体问题5
1.2什么是分布式计算6
1.2.1分布式计算与PaaS6
1.2.2分布式平台的挑战7
第2章PaaS模型与特征10
2.1主流PaaS平台架构10
2.1.1谷歌GAE10
2.1.2AEB11
2.1.3CloudFoundry13
2.1.4Heroku14
2.2PaaS与12—Factor15
2.2.1基准代码（Codebase）15
2.2.2依赖（Dependency）16
2.2.3配置（Config）17
2.2.4后端服务（BackingServices）18
2.2.5构建（Build）、发布（Release）、运行（Run）19
2.2.6进程（Process）20
2.2.7端口绑定（PortBinding）21
2.2.8并发（Concurrency）21
2.2.9快捷性（Disposable）22
2.2.10开发／生产环境等价（Dev／ProdParity）23
2.2.11日志（Log）24
2.2.12管理进程（AdminProcess）25
2.3PaaS与Reaction宣言26
2.3.1响应（Responsive）26
2.3.2韧性（Resilient）26
2.3.3弹性（Elastic）27
2.3.4消息驱动（MessageDriven）28
第二部分基础原理
第3章计算资源30
3.1图灵机与冯·诺伊曼模型30
3.2服务器的种类34
3.3一切都是二进制37
3.3.1整数表示法38
3.3.2文本表示法39
3.3.3音频信息表示法41
3.4操作系统——计算机系统的指挥官42
3.4.1操作系统解决的问题42
3.4.2企业级操作系统43
3.4.3服务器虚拟化47
3.5进程——资源聚合的抽象体49
3.5.1计算单元的构建49
3.5.2计算请求的拆解51
第4章网络资源53
4.1协议分层53
4.1.1OSI网络体系模型54
4.1.2OSI与TCP／IP协议簇55
4.1.3交换、选路与传输56
4.2网络物理设备58
4.2.1连线与接口59
4.2.2二层交换机62
4.2.3路由及三层交换63
4.2.4四～七层网络设备64
4.2.5现实网络构成65
4.3网络逻辑拓扑65
4.4对网络拓扑的考虑66
4.5对物理布线的考虑67
4.6网络虚拟化与SDN70
第5章存储资源73
5.1俯瞰存储系统73
5.1.1数据存储功能分类73
5.1.2文件存储的三个层级74
5.2磁盘与磁盘阵列77
5.2.1硬盘的物理构造77
5.2.2磁盘阵列79
5.2.3SCSI协议81
5.3存储、计算分离82
5.3.1磁盘柜与盘阵82
5.3.2FC存储网络83
5.3.3FC协议栈86
5.3.4FC寻址过程87
5.3.5FC交换机与适配器88
5.3.6FCoE与iSCSI89
5.4存储访问类型90
5.4.1NAS与SAN90
5.4.2分布式存储92
第三部分平台实现
第6章平台功能与架构96
6.1平台运维需求96
6.1.1软件配置96
6.1.2服务部署97
6.1.3服务发现97
6.1.4监控恢复97
6.2平台功能划分97
6.3平台高阶架构100
6.4企业应用迁移102
6.4.1企业应用很“厚重”102
6.4.2应用部署架构102
6.4.3企业应用调整104
第7章计算单元Docker108
7.1Docker介绍108
7.1.1Docker是什么108
7.1.2Docker术语109
7.1.3Docker安装111
7.2Docker容器命令112
7.2.1run命令112
7.2.2start命令115
7.2.3stop命令116
7.2.4restart命令116
7.2.5attach命令116
7.2.6ps命令116
7.2.7inspect命令117
7.3Docker镜像命令119
7.3.1search、pull、push命令120
7.3.2commit命令120
7.3.3image、diff、rmi命令121
7.3.4save、load、export、import命令121
7.4Docker网络与链接122
7.4.1Docker网络模式122
7.4.2pipework管理网络125
7.4.3容器链接与数据卷127
7.5Dockerfile129
7.5.1基本指令集130
7.5.2环境指令集131
7.5.3数据指令集132
7.5.4ENTRYPOINT指令132
第8章分布式协调ZooKeeper134
8.1ZooKeeper介绍134
8.1.1ZooKeeper是什么134
8.1.2ZooKeeper架构135
8.1.3数据模型136
8.1.4监听与通知139
8.1.5API集合139
8.1.6会话140
8.1.7观察者141
8.2ZooKeeper使用141
8.2.1快速安装141
8.2.2基本操作143
8.2.3配置参数145
8.2.4动态重配置149
8.2.5监控152
8.3ZooKeeper进阶157
8.3.1分组与权重158
8.3.2Paxos算法159
8.3.3ZAB协议163
8.3.4分布式协调场景165
第9章资源管理Mesos167
9.1Mesos介绍167
9.1.1资源管理需求167
9.1.2Mesos的起源169
9.2Mesos架构与工作流169
9.2.1Mesos架构组件169
9.2.2Mesos资源管理的工作流程170
9.3Mesos安装配置172
9.3.1安装预先准备172
9.3.2构建Mesos173
9.3.3启动Mesos174
9.3.4高可用Mesos178
9.3.5Slave移除限速182
9.4Mesos运维183
9.4.1认证管理183
9.4.2监控管理186
9.4.3容器网络限速192
9.4.4FrameworkAPI限速194
9.4.5Restful接口195
9.4.6配置参数196
9.5Mesos资源分配197
9.5.1DRF算法197
9.5.2DRF权重199
第10章服务调度框架Marathon200
10.1Marathon介绍200
10.1.1服务调度平台200
10.1.2Marathon实体模型201
10.2Marathon使用203
10.2.1安装启动203
10.2.2运行Shell程序204
10.2.3运行远程资源208
10.2.4ArtifactStore209
10.3Docker容器运行211
10.3.1前提准备条件211
10.3.2端口资源分配212
10.3.3容器端口分配215
10.3.4其他使用方法216
10.4Marathon管理217
10.4.1应用组217
10.4.2策略约束219
10.4.3健康检查221
10.4.4应用部署223
10.4.5事件总线227
10.4.6命令行参数229
10.5服务发现231
10.5.1服务发现方法231
10.5.2Marathon方案232
10.5.3Mesos—DNS235
10.5.4Bamboo239
10.6Chronos作业调度241
10.6.1作业调度框架241
10.6.2安装运行241
10.6.3作业示例242
10.6.4RESTAPI243
第11章大数据调度框架Spark245
11.1ApacheSpark介绍245
11.1.1ApacheSpark是什么245
11.1.2Lambda架构246
11.1.3Spark生态系统247
11.2Spark数据处理248
11.2.1Spark运行模式248
11.2.2SparkStandalone模式252
11.2.3SparkonMesos255
11.2.4SparkStreaming257
第12章日志集中管理ELK261
12.1日志集中261
12.1.1日志集中介绍261
12.1.2日志集中架构262
12.1.3日志集中框架264
12.2Logstash266
12.2.1Logstash介绍266
12.2.2快速安装267
12.2.3配置说明269
12.2.4部署架构282
12.2.5处理流程285
12.2.6input插件286
12.2.7output插件292
12.2.8filter插件296
12.2.9codec插件299
12.3Elasticsearch300
12.3.1基本概念300
12.3.2安装与使用304
12.3.3RESTAPI305
12.3.4集群设置309
12.3.5备份恢复314
12.3.6监控管理315
12.4Kibana317
12.4.1Kibana介绍317
12.4.2discover功能319
12.4.3visualize功能324
12.4.4Dashboard功能327
第四部分运维管理
第13章配置管理330
13.1配置管理系统分析331
13.1.1服务模型进行分层331
13.1.2各IDC团队发现CI332
13.1.3IDC管理团队定义CI属性333
13.1.4确定CI之间的关联336
13.2配置管理系统设计338
13.2.1用户界面设计339
13.2.2权限控制、规则定义和OPENAPI341
13.2.3数据模型的设计343
13.3配置管理数据准确性的保证345
13.3.1识别CI的OWNER345
13.3.2识别CI的生命周期、关联运维流程346
13.3.3数据有效性的审计346
第14章监控管理348
14.1运维监控管理的问题与价值348
14.1.1监控管理的无形价值349
14.1.2监控平台建立的基础350
14.1.3监控管理的WANT原则350
14.2对运维监控平台的需求分析352
14.2.1一次监控过程，调度、规则、告警352
14.2.2数据图形化：百分位裁剪、趋势分析、正态分布358
14.2.3开源的借鉴与选择：Zabbix和Nagios361
14.2.4商业与开源：最后的决策372
14.3JMX监控原理解析373
14.3.1JMX的体系结构374
14.3.2一个完整的JMX体系架构实例376
14.3.3通过JMX访问WebLogicServerMBean379
14.4SNMP监控原理解析383
14.4.1SNMP协议解析：MIB库与消息类型383
14.4.2使用SNMP4J实现服务器监控386
14.4.3Linux下的监控实现：NET—SNMP390
14.4.4MIB库浏览工具：ManageEngine391
第15章运维管理392
15.1服务级别管理，IT与业务的一致性392
15.1.1客户满意度与期望393
15.1.2服务目录——IT服务的菜谱396
15.1.3从宏观到可操作性的服务397
15.2变更管理，使服务有效传递399
15.2.1变更控制的角色、阶段399
15.2.2变更管理的六个原则401
15.2.3变更分类与风险定级402
15.2.4表单、步骤、模板与日历405
15.3事件管理409
15.3.1分类管理与评价体系409
15.3.2任务分发、协同与时效411
15.3.3内部上报要求412
15.3.4重大事件处理413
15.4人员管理：开放与分享415
15.4.1企业社交管理415
15.4.2目标管理，做好绩效417
15.4.3知识管理，人员成长417
15.4.4时间管理，个人效率420
15.5PaaS下的运维发展之路421