运维前线

当前IT领域的概念层出不穷，云计算、物联网、移动互联网、大数据、人工智能、VR，所有的这一切都基于IT系统，IT系统正在向规模更大、更复杂、更不错的方向演进，一切IT资源都掌握在运维手里，通过运维来操作。这个时代对运维的要求越来越高，运维如果稍有不慎，就会造成重大的损失，所以随着IT系统的发展，运维的重要性也越来越高。根据量子力学理论，世界由基本粒子组成，因此世界是不连续的，这个理论在运维知识体系的建立上同样适用。仔细回想一下自己运维体系的建立，就是逐个攻和掌握知识点，再进一步通过实践不断加深的过程。《运维前线》也是这样，其中的每一篇文章都能够协助读者更快地掌握一个或多个知识点，相信通过运维前线系列的逐步出版，终能够覆盖更多的运维知识点，为读者带来更多的实践经验和理念。

云技术社区，成立于2014年，靠前优选的云技术交流平台，分享在云计算/虚拟化项目实施中的资讯、经验和技术，坚持干货。旗下运营：云技术实践、云技术、桌面云之云潮涌动等公众号，以及相关的微信群和QQ群。覆盖超过3万人的云计算领域的技术人群。

推荐序
前言
第1章自动化运维之深度解码1
1.1概述1
1.2运维自动化的三重境界3
1.3运维自动化的困境和价值4
1.3.1运维自动化的困境4
1.3.2运维自动化的价值4
1.4运维自动化的多维解读5
1.4.1基于应用变更场景的维度划分5
1.4.2基于系统层次的维度划分8
1.4.3基于与业务程序耦合紧密程度的维度划分8
1.4.4面向服务的自动化能力划分9
1.5运维自动化的方法论11
1.6运维自动化系统的实现12
1.6.1DNS管理系统12
1.6.2CMDB管理系统13
1.6.3名字服务中心系统13
1.6.4持续部署管理系统14
1.6.5运维调度管理系统15
1.7运维自动化系统的API参考实现16
1.8运维自动化依赖的团队模型17
1.8.1团队的能力模型17
1.8.2团队的驱动模型18
1.8.3团队的技能模型18
1.8.4参考的运维团队组织结构19
1.9小结19
第2章利用Facter和Django快速构建CMDB20
2.1CMDB简介21
2.2开源CMDB介绍21
2.2.1OneCMDB介绍21
2.2.2CMDBuild介绍22
2.2.3其他的开源CMDB23
2.3Puppet及Facter介绍24
2.3.1什么是Puppet24
2.3.2为什么是Puppet25
2.3.3什么是Facter25
2.3.4Facter的特点25
2.3.5Facter变量26
2.4如何利用Python获取Facts27
2.4.1工作原理27
2.4.2利用Python脚本获取Facts27
2.5使用Django快速构建CMDB系统28
2.5.1Django介绍28
2.5.2Django安装29
2.5.3Django常用命令30
2.5.4Django的配置30
2.6高级进阶44
2.6.1历史查询功能44
2.6.2API功能45
2.6.3数据表结构48
2.6.4用户管理功能50
2.6.5用户组管理功能51
2.7小结53
第3章数据中心搬迁中的x86自动化运维54
3.1数据中心搬迁准备54
3.1.1数据中心搬迁介绍54
3.1.2搬迁环境介绍55
3.1.3搬迁前的准备工作56
3.1.4搬迁信息收集56
3.2利用VMware脚本简化虚拟化层的搬迁58
3.2.1通过脚本完成ESXI安装后的基础设置58
3.2.2批量挂载数据盘63
3.2.3批量注册虚拟机67
3.2.4vCenter目录结构的调整68
3.2.5批量更改虚拟机名称及portgroup69
3.2.6批量设置虚拟机版本和CPU、内存保留值70
3.3利用批处理与Shell脚本简化逻辑节点的搬迁71
3.3.1逻辑节点切换脚本的思路71
3.3.2利用批处理脚本简化Windows逻辑节点的搬迁72
3.3.3利用Shell脚本简化Linux逻辑节点的搬迁78
3.3.4通过SFTP和WMIC指令将脚本文件上传至所有虚拟机86
3.3.5搬迁期间的注意事项87
3.4小结87
第4章集中配置管理工具Puppet88
4.1如何同步puppet-agent端上的常用服务89
4.2如何在puppet-agent端上自动安装常用的软件包90
4.3如何自动同步puppet-agent端的yum源90
4.4如何根据不同名字的节点机器推送不同的文件92
4.5如何根据节点机器名来选择性地执行Shell程序95
4.6如何快速同步puppet-server端的www目录文件97
4.7如何利用ERB模板自动配置Apache虚拟主机102
4.8如何利用ERB模板自动配置Nginx虚拟主机105
4.9小结110
第5章深度实践iptables111
5.1禁用连接追踪111
5.1.1排查连接追踪导致的故障111
5.1.2分析连接追踪的原理113
5.1.3禁用连接追踪的方法114
5.1.4确认禁用连接追踪的效果117
5.2慎重禁用ICMP协议117
5.2.1禁用ICMP协议导致的一则故障案例117
5.2.2MTU发现的原理119
5.2.3解决问题的方法121
5.3网络地址转换在实践中的案例121
5.3.1源地址NAT121
5.3.2目的地址NAT122
5.4深入理解iptables的各种表和各种链123
5.5小结125
第6章使用systemd管理Linux系统服务126
6.1systemd和sysVinit之间的关系126
6.1.1sysVinit方式下系统的启动特点127
6.1.2systemd方式下系统的启动特点127
6.2systemd的原理和启动顺序128
6.2.1sysVinit的启动顺序128
6.2.2systemd的启动顺序130
6.3systemd的进程控制命令135
6.3.1systemctl命令136
6.3.2hostnamectl命令136
6.3.3localectl命令137
6.3.4loginctl命令137
6.3.5timedatectl命令138
6.4systemd服务管理138
6.4.1编写Nginx的sysVinit启动脚本138
6.4.2编写Nginx的systemd启动脚本140
6.4.3systemd的其他功能142
6.5优化146
6.5.1使用systemd-analyze优化启动时间146
6.5.2使用systemdjournal功能148
6.6小结148
第7章PHP运维实践149
7.1PHP再认识150
7.1.1PHP进程的工作方式150
7.1.2PHP代码的编译和部署151
7.1.3PHP内部实现和生命周期151
7.1.4PHP在互联网技术栈的位置152
7.2PHP开发、架构、运维问题及解决思路153
7.2.1运维对PHP研发提要求153
7.2.2运维参与PHP项目架构设计154
7.2.3PHP运维常见问题及解决之道156
7.3PHP进程部署和配置、代码发布157
7.3.1PHP进程的部署157
7.3.2PHP配置文件变更161
7.3.3PHP配置项162
7.3.4PHP进程部署及配置文件管理实践164
7.3.5PHP代码发布165
7.3.6PHP代码发布实践：代码发布系统167
7.4PHP性能分析170
7.4.1性能问题概述170
7.4.2PHP性能问题171
7.4.3性能分析方法172
7.4.4PHP性能分析实践：性能分析系统181
7.5PHP故障处理与监控182
7.5.1PHP故障分类及处理思路183
7.5.2业务监控和故障发现184
7.5.3PHP故障消除的方法186
7.5.4故障分析案例187
7.6小结189
第8章应用系统运行分析190
8.1分析模型191
8.1.1数据采集191
8.1.2数据模型194
8.2运行分析平台建设199
8.2.1数据采集接口199
8.2.2数据分析模块200
8.2.3推广200
8.3呼叫中心系统运行分析示例201
8.3.1确定分析方案201
8.3.2问题分析案例介绍202
8.4小结203
第9章虚拟化中存储配置典型场景：启动风暴204
9.1oVirt虚拟化平台配置介绍205
9.1.1存储配置背景知识205
9.1.2模板与实例同一存储206
9.1.3模板与实例分离存储207
9.1.4无状态实例的硬盘与快照分离存储207
9.2启动风暴相关系列实验208
9.2.1模板配置208
9.2.2实验脚本208
9.2.3WD1TB机械硬盘启动WindowsXP实验210
9.2.4Intel480GBSSD启动WindowsXP实验212
9.2.5实验结论214
9.3私有云中处理启动风暴的常用方法214
9.3.1启动排队214
9.3.2存储分层选择215
9.3.3其他提升桌面云存储性能的方式217
9.4小结219
第10章私有云桌面网络组建220
10.1桌面云常用网络220
10.1.1NAT网络220
10.1.2桥接网络223
10.1.3VLAN网络226
10.1.4Access模式226
10.1.5Trunk模式229
10.1.6OpenvSwitch231
10.2oVirt/OpenStack的桌面网络应用232
10.2.1oVirt/OpenStack组网方式232
10.2.2应用场景举例237
10.3小结239
第11章浅谈服务器交付的那些事儿240
11.1设备签收的学问240
11.2服务器设置241
11.3Cobbler的流程与规划244
11.4服务器安装时遇到的各种坑247
11.4.1DHCP客户端获取IP地址失败247
11.4.2TFTP加载失败248
11.4.3TFTPClient交互后无响应248
11.4.4yum安装失败249
11.4.5Linux内核无法识别新硬件250
11.4.6恶意PXE启动导致原有系统被误装250
11.5交接后的故事250
11.6小结252
第12章企业级NginxWeb服务优化实战254
12.1Nginx基本安全优化254
12.1.1调整参数隐藏Nginx软件版本号信息254
12.1.2更改源码隐藏Nginx软件名及版本号256
12.1.3更改Nginx服务的默认用户259
12.2根据参数优化Nginx服务性能260
12.2.1优化Nginx服务的worker进程个数260
12.2.2优化绑定不同的Nginx进程到不同的CPU上262
12.2.3Nginx事件处理模型优化265
12.2.4调整Nginx单个进程允许的客户端最大连接数266
12.2.5配置Nginxworker进程的最大打开文件数267
12.2.6优化服务器域名的散列表大小267
12.2.7开启高效文件传输模式269
12.2.8优化Nginx连接参数，调整连接超时时间269
12.2.9上传文件大小的限制（动态应用）272
12.2.10FastCGI相关参数调优（配合PHP引擎动态服务）273
12.2.11配置Nginxgzip压缩实现性能优化277
12.2.12配置Nginxexpires缓存实现性能优化279
12.3Nginx日志相关的优化与安全283
12.3.1编写脚本实现Nginxaccess日志轮询283
12.3.2不记录不需要的访问日志284
12.3.3访问日志的权限设置284
12.4Nginx站点目录及文件URL访问控制284
12.4.1根据扩展名限制程序和文件访问284
12.4.2禁止访问指定目录下的所有文件和目录285
12.4.3限制网站来源IP访问286
12.4.4配置Nginx，禁止非法域名解析访问企业网站287
12.5Nginx图片及目录防盗链解决方案288
12.6Nginx错误页面的优雅显示295
12.6.1生产环境中常见的HTTP状态码列表295
12.6.2为什么要配置错误页面优雅显示295
12.7Nginx站点目录文件及目录权限优化298
12.8Nginx防爬虫优化300
12.9利用Nginx限制HTTP的请求方法302
12.10使用CDN做网站内容加速302
12.10.1什么是CDN302
12.10.2CDN的特点303
12.10.3企业使用CDN的基本要求304
12.11Nginx程序架构优化304
12.12使用普通用户启动Nginx（监牢模式）305
12.12.1为什么要让Nginx服务使用普通用户305
12.12.2给Nginx服务降权的解决方案305
12.12.3给Nginx服务降权实战306
12.13控制Nginx并发连接数量308
12.14控制客户端请求Nginx的速率312
12.15小结314
第13章游戏运维的思考315
13.1游戏运维最关键的几件事315
13.1.1安全315
13.1.2稳定318
13.1.3高效322
13.1.4成本节约323
……
第14章数据库平台建设实战
附录A求职者与面试官

Preface?前    言为什么要写这本书《运维前线：一线运维专家的运维方法、技巧与实践》（以下简称《运维前线》）是前线系列的一个子集，前线系列图书的出版理念是邀请多位业界专家，总结所在行业的最新理念或深度实践经验。前线系列图书不同于市面上的很多图书，这类书并不系统，有的只是一线专家的实战经验，人们常称之为“干货”。一篇文章、一家公司、一个案例、一个场景，独立成篇，在满足碎片化阅读的同时，也能让读者进行横向比较和深入思考。本系列图书不强调大而全，追求的是每篇文章都是精品，希望能给读者带来深度的启发和收获。    按照这个理念，之前著名产品经理兰军（笔名Blues）策划的《产品前线》，出版之后大获成功，随之而来的《运维前线》令我感觉到压力巨大。《运维前线》的出版犹如十月怀胎，中间充满波折，好几次我都以为要半途而废了，最后终于得以出版，在此要特别感谢机械工业出版社华章公司著名出版人杨福川，是他的坚持和鼓励让我总能在迷茫中看到希望。我和福川有共同的理念，希望把《运维前线》做成精品，如果有哪点不符合要求，那么我们宁愿耗时长一些，多打磨打磨，很庆幸能与福川一起合作。    本书共有14位作者，包含了在腾讯、YY语音、UC、京东、盛大游戏、金山西山居、猎豹移动、广发银行、优维科技等多家公司工作的实践经验，基本覆盖了互联网和传统行业运维的各个领域，估计这是迄今为止第一本由这么多资深运维专家联合写成的图书，也是第一本分享了众多一线运维专家亲身实践的图书。本书的出版也充分体现了互联网开放合作的精神。    看到本书的目录时，我激动不已，即使书中的内容我已经看了好多遍，但是在回顾目录的时候，我依然感到这是一本非常有吸引力的书，是一本每名运维工程师都应该案头常备的书！    本书特色当前IT领域的概念层出不穷，云计算、物联网、移动互联网、大数据、人工智能、VR，所有的这一切都基于IT系统，IT系统正在向规模更大、更复杂、更高级的方向演进，一切IT资源都掌握在运维手里，通过运维来操作。这个时代对运维的要求越来越高，运维如果稍有不慎，就会造成重大的损失，所以随着IT系统的发展，运维的重要性也越来越高。    根据量子力学理论，世界由基本粒子组成，因此世界是不连续的，这个理论在运维知识体系的建立上同样适用。仔细回想一下自己运维体系的建立，就是逐个攻克和掌握知识点，再进一步通过实践不断加深的过程。《运维前线》也是这样，其中的每一篇文章都能够协助读者更快地掌握一个或多个知识点，相信通过运维前线系列的逐步出版，最终能够覆盖更多的运维知识点，为读者带来更多的实践经验和理念。    作为运维前线系列的第一本书，本书覆盖了运维自动化、系统运维、云及虚拟化、Web运维、游戏运维、DBA运维等6个方面14个知识点，都是各位作者总结自己多年实践经验的干货，每一篇文章都很精彩，都值得读者仔细品味。    本书作者本书第1章“自动化运维之深度解码”，来自订阅号“互联网运维杂谈”的作者、优维科技创始人王津银，人称“老王”。我在多个场合听过“老王”的分享，有40分钟的，也有长达3个小时的，令我惊讶的是，“老王”每次总能带来新的东西。这篇“自动化运维之深度解码”也是如此，凝结了老王许多最新的见解，值得深读。    胥峰是我在盛大游戏的前同事，从胥峰身上我学到了不少知识，比如解决问题的思路和方法，有时候碰到运维难题，也许换一个角度就能迎刃而解。    刘宇、尹会生、陈立军是我多年的同事。刘宇、会生已经出版了多本运维图书，他们都是非常资深的运维专家。刘宇无论演讲还是文章都逻辑清晰，丝丝入扣。会生和立军分享的都是我亲眼所见的、在工作中碰到的难题及解决方法。    张观石是欢聚时代（YY）互娱事业部业务运维负责人，有多年的将PHP运用到日常运维中的经验。观石将PHP用到了极致，即使不懂PHP，也可以通过本书一窥观石在运维方面的丰富经验。    马亮有多年的游戏运维经验，目前在腾讯云专注做游戏云的架构设计，对游戏运维有深刻的理解。    本书的作者还有冉宏元（老男孩）、余洪春（抚琴煮酒）、吴传玉、彭华盛、蒋迪、赵旻、赵海军。虽然我与他们未曾谋面，但是彼此都是熟悉的网友，他们的文章我都曾仔细拜读并多次请教过，其中的运维思想让我深深折服，非常期待能有机会向他们当面请教。    读者对象本书面向所有的运维工程师，无论是资深运维，还是刚入行的运维，相信都能从本书中获益。本书的读者对象包括如下几类：    系统运维工程师安全工程师数据库运维工程师业务运维工程师网络运维工程师运维系统开发工程师及架构师云计算/虚拟化运维工程师其他对运维感兴趣的读者勘误和支持由于作者的水平有限，编写时间比较仓促，书中难免会出现一些错误或不准确的地方，恳请读者批评指正。如果您有更多宝贵的意见，欢迎关注我的订阅号“云技术实践”，然后在后台将您的宝贵意见发送给我。本书的勘误也会通过订阅号进行发布，关注订阅号请扫描下面的二维码：    “运维前线”是一个系列，欢迎在平时工作中积累了实战经验的广大运维工程师继续参与“运维前线”的写作，带来更多的干货分享！    期待能够得到你们的真挚反馈，在运维之路上互勉共进。    致谢从开始构思到《运维前线》的出版，本书的创作过程犹如十月怀胎，期间也获得了无数的支持与肯定。借此机会，向所有为此奉献力量的人表示深深的感谢。    感谢参与本书写作的14位行业专家，他们在百忙之中伏案写作，将自己的经验共享给广大读者。能够和你们合作，我深感荣幸，经过将近一年时间的沟通和交流，你们的专业和执着深深地打动了我，同时也让我学到了不少东西。    感谢机械工业出版社华章公司的首席策划杨福川，编辑高婧雅、孙海亮。在近一年的时间中，你们的敬业精神不断地鼓舞着我前进，你们的鼓励、帮助和坚持引导了本书的完成。    这里，我还要特别感谢七牛云。七牛云是我见过的最具技术气质的云服务企业，肩负“帮助开发者缩短从想法到产品的距离”的使命，立志打造以数据为核心的场景化PaaS服务。七牛云主张技术共享并热衷于技术的传播，发起架构师实践日，推出各类创业扶持计划，这些都是七牛云正在做的事。    特别致谢本书在成书过程中，得到了一批热心志愿者的协助，他们是陈家豪、曹学朋、邓荣兴、刘海文、李斯朗、韩海林，尤其刘海文做了大量的义务工作，在此特别感谢！    肖  力志愿者的话能在力哥组织的这本书中担任助理，我感到非常荣幸。本书出自一群经验老到并乐于分享的运维前辈之手，是一本案头必备的好书。    刘海文