互联网企业容器技术实践

如果您正面临着平台的标准化、容器技术涉及的资源和应用内部结构、传统应用如何改造等问题；纠结容器化管理平台的选择；面对具体的场景和业务需求不知如何应用容器技术及实现相关需求，那么本书正好可以解决您的难点，帮您成功完成应用容器化改造和DevOps建设。

本书通过容器技术领域的实践者分享各自的实践案例，介绍常见的业务痛点、实现方式、方案的选型、遇到的问题和解决方案等，希望能够帮助读者了解、认识和玩转容器。本书主要分为两部分：第一部分是原理篇，包括第1章和第2章，简单介绍Docker和Kubernetes的基础知识及原理，包括Docker和Kubernetes是什么、可以做什么及如何使用等；第二部分是案例篇，包括第3～10章，通过多个实战案例，针对不同的使用场景和业务需求，介绍如何应用容器技术及实现相关需求。本书案例均来自一线真实案例，并有技术人员对技术改造过程的体会和领悟，有较强的借鉴意义和参考价值。

"李成，网银互联资深云计算工程师。拥有多年云计算开发经验，长期关注云计算领域，熟悉虚拟化和容器等技术。 陈京来，来自网易伏羲AI实验室。专注云计算、人工智能领域的实践，长期关注虚拟化、容器化、深度学习等技术的发展，目前主要研究人工智能与云场景的结合落地。 张振华，花名郭嘉，美丽联合集团虚拟化部门负责人，10余年软件研发和技术管理经验，曾在英特尔、思科等公司工作。目前工作聚焦在美联容器云平台的研发和容器DevOps项目的落地上，在Docker容器、Kubernetes、DevOps、Cloud Native、微服务化等方面都有丰富的实战经验。 付铖，花名橙子，酷家乐国际化业务后端负责人，酷家乐早期员工，本科毕业于浙江大学软件工程系。酷家乐国际化业务现已全面应用K8S容器编排和Istio服务网格技术。 陆兵斌，花名斑斑，毕业于浙江大学软件工程专业，后就职于酷家乐。在酷家乐负责过云渲染系统、监控系统、发布系统等，在基础架构方面有丰富经验。现担任酷家乐全屋定制业务后端技术负责人。 牛庆功，花名东悦，毕业于中科大软件工程专业，毕业后一直从事容器云研发，目前负责酷家乐容器云研发，对Kubernetes、容器及应用有深入理解。 吴叶磊，花名阿磊，毕业于浙江大学数字媒体技术专业。就职于酷家乐，曾负责自研数据同步套件、配置中心等中间件的开发，目前负责监控警报系统，对Kubernetes、Prometheus有深入应用与理解。 俞锋锋，曾就职百度，先后负责百度手机助手PC端和手机百度新闻资讯等产品。现为个推应用平台研发部总监，具有丰富的技术管理和架构经验。 何晓波，杭州网银互联科技股份有限公司研发部负责人，拥有多年的软件研发和技术管理经验，在Kubernetes、云计算、虚拟化等方面均有丰富的实战经验。 徐常雨，搜道网技术副总裁，负责公司产品研发。长期从事互联网产品研发工作，拥有10年以上产品研发团队管理经验，对互联网各类型产品形态开发具有丰富的实战经验，长期关注高性能可扩展微服务架构设计和快速团队开发。目前从事营销自动化SaaS服务、大数据及人工智能领域相关产品的研发工作。 裘宏骏，纵横新创技术总监CTO，拥有15年以上的软件行业经验，从通信应用、互联网应用、微服务平台的架构设计和开发，到自动化构建、持续集成、持续交付及DevOps的转型实施都有较丰富的经验。 苏茶林，花名海天，九言科技运维部门负责人，长期从事系统保障工作，拥有10年运维经验，在系统、网络方面有着丰富的经验，曾就职于中国联通、杭州斯凯网络，目前就职于九言科技，负责推进公司容器化实施。 沃趣原型团队，沃趣科技是一家专注为企业用户提供基于高性能、高可用、可扩展的开放数据库云平台解决方案的国产厂商。公司创始团队为阿里巴巴原数据库技术团队核心骨干，凭借丰富的研发及运维经验，为行业客户提供数据库云产品及软硬件一体化解决方案。 "

目 录 第1章  Docker入门 1 1.1  容器简介与Docker容器引擎 2 1.1.1  什么是容器 2 1.1.2  Docker容器 2 1.2  Docker核心原理 5 1.2.1  Docker引擎结构 5 1.2.2  Docker服务流程 6 1.2.3  Docker核心技术 6 1.3  Docker镜像及镜像仓库 16 1.3.1  什么是Docker镜像 16 1.3.2  构建Docker镜像 16 1.3.3  搭建Docker镜像仓库 21 1.4  Docker网络 22 1.4.1  Docker网络架构 22 1.4.2  Docker网络原理 23 第2章  Kubernetes入门 28 2.1  Kubernetes概述 29 2.1.1  什么是Kubernetes 29 2.1.2  为什么选择Kubernetes 29 2.1.3  Kubernetes基本概念 31 2.2  Kubernetes架构及安装 36 2.2.1  Kubernetes架构 36 2.2.2  Kubernetes核心组件 38 2.2.3  二进制安装Kubernetes集群 44 2.2.4  kubespray安装Kubernetes集群 50 2.3  Kubernetes实战案例 52 2.3.1  WordPress应用模型 52 2.3.2  部署WordPress 53 2.3.3  部署MariaDB 54 2.3.4  通过浏览器访问WordPress 57 2.4  Kubernetes网络 57 2.4.1  Kubernetes中的网络场景 57 2.4.2  Kubernetes网络模型 59 2.4.3  Kubernetes开源网络方案 60 2.5  Kubernetes高级特性 64 2.5.1  Federation 65 2.5.2  GPU支持 68 2.6  Kubernetes生态 71 2.6.1  Kubernetes包管理工具Helm 71 2.6.2  Service Mesh 73 2.6.3  Serverless 76 第3章  美丽联合容器云实践 79 3.1  “从零到一”：容器云平台的技术演进 80 3.1.1  为什么要建设容器云平台 80 3.1.2  如何建设容器云平台 80 3.1.3  架构演进 84 3.1.4  稳定性、效率和成本 89 3.2  “自我突破”：关键技术方案和创新点 93 3.2.1  版本演进 93 3.2.2  关键技术和创新点 94 3.3  总结 109 3.3.1  体会和心得 109 3.3.2  展望未来 110 3.3.3  遇到过的问题 114 3.3.4  开源工具分享 115 第4章  酷家乐容器化之路 119 4.1  架构挑战与应对方案 120 4.2  应用容器化 122 4.2.1  CI/CD迁移 122 4.2.2  公共基础镜像 122 4.2.3  镜像构建及单元测试 123 4.2.4  容器部署 124 4.2.5  网络模式 124 4.2.6  性能相关 124 4.2.7  小结 125 4.3  编排自动化 125 4.3.1  资源隔离与资源限额 125 4.3.2  Kubernetes的认证与授权 128 4.3.3  CMDB改造 131 4.3.4  Kubernetes的包管理工具Helm 132 4.3.5  存储方案 132 4.3.6  网络方案 132 4.3.7  日志与监控 133 4.3.8  小结 134 4.4  酷家乐的服务网格实践 134 4.4.1  服务网格的发展现状 135 4.4.2  酷家乐技术团队应用Istio的范围 135 4.4.3  Istio的安装 135 4.4.4  通过Istio的信息进行全自动化部署 135 4.4.5  通过Istio + Zipkin + Sleuth实现调用链路追踪 137 4.4.6  通过Istio的routing rule实现不同的发布策略和版本策略 138 4.4.7  通过修改Istio系统设置实现Pod外部访问控制 139 4.4.8  Istio的其他风险 140 4.4.9  小结 140 4.5  总结 140 第5章  个推基于Docker和Kubernetes的微服务实践 142 5.1  微服务 143 5.1.1  微服务简介 143 5.1.2  微服务实践 145 5.2  容器化 149 5.3  Kubernetes实践 151 5.4  总结 157 第6章  使用Kubernetes进行交换机端口流量采集 158 6.1  Prometheus简介与使用 159 6.1.1  Prometheus特点 159 6.1.2  Prometheus相关组件 159 6.1.3  Prometheus架构 159 6.1.4  Prometheus适用场景 160 6.1.5  Prometheus的安装及使用 160 6.1.6  Prometheus SNMP Exporter 168 6.1.7  Prometheus 告警 169 6.1.8  Grafana 171 6.2  流量采集系统 171 第7章  搜道微服务容器化实践 175 7.1  为何选择Docker 176 7.1.1  公司架构演变过程 176 7.1.2  平台存在的问题 176 7.1.3  容器优势 176 7.2  Docker容器云架构方案 177 7.2.1  技术选型及实践 177 7.2.2  服务注册与服务发现 192 7.2.3  Docker网络与通信解决方案 193 7.3  未来展望：自动化和弹性云 194 7.3.1  自动化 195 7.3.2  弹性云 195 第8章  纵横新创的容器化实践 196 8.1  背景介绍 197 8.2  Rancher介绍 198 8.2.1  基础设施编排 199 8.2.2  应用商店 199 8.2.3  容器编排与调度 199 8.2.4  企业级权限管理 199 8.3  Docker构件库配置 199 8.3.1  Nexus 3安装 200 8.3.2  Nexus 3配置Docker镜像库 201 8.3.3  配置Docker环境 202 8.4  构建Maven环境 208 8.4.1  配置POM文件 208 8.4.2  配置DockerFile文件 209 8.4.3  开启Docker的远程接口 209 8.4.4  执行Maven编译 210 8.5  Rancher在Jenkins中的配置 211 8.5.1  Jenkins中安装Rancher插件 212 8.5.2  在Rancher服务中配置API连接信息 212 8.5.3  在Jenkins中配置 213 8.5.4  Jenkins的执行效果 214 8.6  问题与总结 216 8.6.1  Rancher的高可用 216 8.6.2  收集日志 216 8.6.3  监控告警 217 8.6.4  调用链监控 217 8.7  写在最后 218 第9章  九言科技Kubernetes实践 219 9.1  现有维护中的瓶颈 220 9.2  容器管理平台的选择 220 9.3  环境的搭建与CI/CD 220 9.3.1  用kubeadm快速搭建Kubernetes环境 221 9.3.2  Kubernetes环境下的CI/CD整体架构 222 9.4  存储引擎的选择 222 9.4.1  存储概述 222 9.4.2  如何选择驱动引擎 223 9.5  Kubernetes日志收集 226 9.5.1  收集日志的需求 226 9.5.2  收集日志的解决方案 226 9.6  未来探索 229 9.6.1  Service Mesh介绍 229 9.6.2  FaaS与Serverless 230 9.7  小结 232 第10章  沃趣科技的容器化RDS之路 233 10.1  容器化RDS：计算存储分离架构下的“Split-Brain” 234 10.2  容器化RDS：计算存储分离架构下的I/O优化 242 10.2.1  计算存储分离架构 243 10.2.2  计算存储分离架构的缺点 243 10.2.3  DoubleWrite 243 10.2.4  单机架构：关闭DoubleWrite 244 10.2.5  计算存储分离架构：关闭DoubleWrite 244 10.3  容器化RDS：PersistentLocalVolumes和VolumeScheduling 246 10.3.1  本地卷 246 10.3.2  原有调度机制的问题 246 10.3.3  PVC绑定 247 10.3.4  Pod调度 247 10.4  容器化RDS：借助CSI扩展Kubernetes存储能力 252 10.4.1  现有Kubernetes存储插件系统问题 253 10.4.2  Container Storage Interface 254 10.4.3  基于CSI和分布式文件系统在MySQL上实现Dynamically Expand Volume 255 10.4.4  对CSI的展望 257

"前 言 随着互联网行业的不断发展，企业管理的服务器数量大幅增加，业务系统越来越复杂，用户体验要求也越来越高，运维工作面临的挑战和难度也越来越大。 2013年，Docker作为一个开源项目横空出世，解决了服务器应用快速构建、部署和分享的问题，能够把服务器应用像App一样简单地安装到各种平台环境中，而不受真实环境的影响。对于开发者和运维工程师来说，Docker是提高开发和部署效率的一大利器；而对于企业来说，能够节省大量的基础设施投入和降低维护成本。因此，Docker一出现就迅速引爆了技术圈，也再次将容器技术带回到人们的视野中。而Kubernetes作为后起之秀，在Docker技术的基础上，为容器化的实施提供了部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，使得大规模容器集群管理更加便捷。虽然Kubernetes的出现比Docker晚一些，但其影响力同样巨大，作为一个容器编排管理平台，其受关注度甚至超过了容器本身。 容器技术的兴起，不仅使应用开发部署发生了深刻变革，也让应用设计架构和运维部署发生了新的变化。企业进行容器化改造，通常根据企业的实际应用和业务需求选择容器化管理平台，并进行应用容器化改造和DevOps建设。然而在此过程中，技术人员往往面临各种各样的问题，如平台的标准化、容器技术涉及的资源和应用内部结构、传统应用如何改造等。虽然这些问题有一些可借鉴的经验，但更多需要技术团队根据自身的情况去摸索解决。 如今，虽然市面上不乏关于容器的书籍，技术社区也一直很活跃，但真正应用容器技术的企业仍然不多，系统介绍具体落地案例的资料比较少，远不能满足企业和技术人员的需求。为此，我们特邀请了容器技术领域的实践者来撰写本书，分享他们的实践案例，介绍包括业务痛点、实现方式、方案选型、遇到的问题及解决方案等，希望能够将基于Docker和Kubernetes打造的企业级容器云平台的经验分享给广大读者。 本书主要内容 本书主要分为两部分：第一部分是原理篇，包括第1章和第2章，介绍Docker和Kubernetes的基础知识及原理，包括Docker和Kubernetes是什么、可以做什么及如何使用等；第二部分是案例篇，包括第3～10章，通过具体的实战案例，针对不同的使用场景和业务需求，介绍如何应用容器技术及实现相关需求。 本书特色 ? 以实践和应用为导向。本书抛开繁杂的理论讲解，从具体实践案例入手，由浅入深地介绍容器化的技术改造过程，并总结其中遇到的各种问题及相应的解决方案，涉及关键技术方案及创新点。同时，对容器云平台的功能组件有详细的技术架构设计，并对开源软件如何选型给出具体建议及应用场景分析，为容器云平台的具体实现提供方案。 ? 清晰而有深度的讲解。本书内容全部来自容器化改造一线的技术工程师之手，在编写过程中尽量用简单的语言表述，力求条理清晰，做到通俗易懂。本书除了对改造过程中的经验进行了总结，还对未来容器云生成环境的路线与规划进行了探讨。 致谢 本书由多位作者共同编写而成，包括（按姓氏拼音排序）：陈东辉（酷家乐运维部门负责人）、陈京来（网易云计算工程师）、付铖（酷家乐国际站技术负责人）、何晓波（网银互联云计算架构师）、李成（网银互联云计算工程师）、陆兵斌（酷家乐技术专家）、牛庆功（酷家乐研发工程师）、裘宏骏（纵横新创CTO）、苏茶林（九言科技运维部门负责人）、沃趣科技原型团队、吴叶磊（酷家乐研发工程师）、徐常雨（搜道网技术副总裁）、俞锋锋（个推应用平台研发部总监）、张振华（美丽联合集团虚拟化部门负责人）。正是他们牺牲了自己的休息时间，才能将项目实践方法总结成文字，一起促成了本书的合作和出版，以飨读者，在此向所有作者表示衷心的感谢！ 同时也感谢电子工业出版社的陈晓猛和宋亚东编辑，得益于他们专业的工作和细致的帮助，让本书能够顺利出版发行。 虽然我们对书中的内容进行了仔细的编辑和校对，但难免会存在一些纰漏，欢迎广大读者批评指正，并与我们进行交流和探讨！ 编者"