VMware vSphere性能设计

本书共7章，第1章关注在虚拟环境中构建数据中心性能时经常忽视的必要的设计注意事项，阐述使用数据中心已有资源构建应用程序的原则。第2章提供每一个虚拟化管理员工具箱里必备的工具，包括容量规划、性能基准管理、仿真和vSphere的工具。第3章介绍何时建立以及为什么建立一个测试实验室，还阐述了将实验室扩大的可用工具和资源。第4章阐述在ESXi平台中CPU进程调度的基础知识，以及在如今现代处理器中硬件虚拟化增强的功能。第5章阐述VMwareESXi管理内容的多种方法，包括工作负荷如何共享内存，如何从VM中回收内容。第6章阐述设计物理以及虚拟网络的方法，从而支持你的vSphere环境，包括主机选择会如何影响网络选项。第7章阐述设计满足性能需求的物理和虚拟存储的方法。

Matt Liebowitz，是在虚拟化领域有11年从业经验的架构师。如今Matt为EMCGlobal Services的虚拟化专业负责人，负责该公司的战略方向等。
Matt是《Virtualizing Microsoft Business Critical Applicationson VMwarev Sphere》（VMwarePress，2013）的作者及《Mastering VMwarev Sphere5.5》（Sybex，2013）的合著者。他还是VMware Technology Network（VMTN）的主要贡献者，并且从2009年开始一直是一位活跃的博主。Matt同时还为几个行业出版物关于虚拟化主题撰写授权文章。他出席了业界许多活动并做了虚拟化方面的报告。
Matt自2010年开始每年都被评为VMwarev Expert，其中2013年还被评为EMCElect。他还拥有VMware和Microsoft大量行业认证证书。Matt维护着一个VMware虚拟化方面的博客。
除了致力于推广虚拟化技术之外，Matt经常与自己的两个孩子Tyler、Kaitlyn及妻子Joann度过快乐的家庭时光。
Christopher Kusek，有20多年的从业经验，他在虚拟化方面的工作可以追溯到VMware1.0版本之前。他在业界非常活跃，经常参加相关会议，发表主题演讲，分享他在存储、VMworld以及云计算方面的经验。
Christopher是《VMwarev Sphere5 Administration Instant Reference》（Sybex，2012）的作者。他是VMware Communities Podcasts和vBrownbag的主要贡献者并且10多年来一直是一位活跃的博主。
作为一位出色的VMware专家以及虚拟化社区代码的主要贡献者，Christopher仍在不断寻找新的方法来扩展和传播虚拟化知识，推广虚拟化对个人业务及企业级业务的变革性作用。Christopher在2013年和2014年连续被评为EMCElect，并且通过专业分析以及评论的方式直接或间接地为存储社区贡献力量。
Christopher持续更新他的博客，撰写关于虚拟化和存储的实用文章以及他在世界各地的游历。
除了工作以及联络家人以外，他还喜欢在世界各地寻找各种素食美食。
Rynardt Spies，是一名具有9年经验的虚拟化顾问，现在主要研究私有云和混合云架构。
Rynardt是VMware Technology Network（VMTN）的活跃贡献者，自2008年4月开始是一名虚拟化和IT相关话题的活跃博主。因他对VMware虚拟化社区的贡献，他在2009年、2010年、2013年和2014年均被评为VMwarev Expert。
Rynardt获得VMware Virtual Infrastructure3、vSphere4以及vSphere5的VCP（VMware Certified Professional）证书，他还获得vSphere4的管理和设计VCAP（VMware Certified Advanced Professional）证书。
Rynardt维护一个有关虚拟化的博客，除了虚拟化之外，Rynardt还喜欢飞行器仿真。工作之余，他还陪伴妻子Sarah以及两个孩子Lanie和Zachariah。

献词
译者序
前言
致谢
作者简介
第1章性能设计1
1.1准备工作2
1.1.1确定参数2
1.1.2构建应用程序3
1.1.3评估物理性能3
1.1.4从默认值开始3
1.2建立基准3
1.2.1CPU基础设施基准4
1.2.2内存5
1.2.3网络7
1.2.4存储9
1.3构建应用程序10
1.4考虑许可要求11
1.5集成虚拟机12
1.5.1虚拟机可扩展性12
1.5.2vMotion13
1.5.3分布式资源调度14
1.5.4高可用性15
1.6了解设计要素16
1.7小结18
第2章建立你的工具箱19
2.1容量规划工具19
2.1.1VMware容量规划器19
2.1.2微软评估和规划工具包20
2.1.3使用容量规划工具20
2.1.4运行容量管理21
2.2性能分析工具23
2.2.1esxtop23
2.2.2vscsiStats27
2.3性能基准测试工具30
2.3.1VMmark31
2.3.2vBenchmark31
2.4性能仿真工具32
2.4.1CPU/内存33
2.4.2存储34
2.4.3网络37
2.5小结38
第3章测试实验室40
3.1为什么要建立一个测试实验室40
3.1.1在投入生产之前测试变化41
3.1.2测试新的应用和补丁42
3.1.3重现生产问题42
3.1.4模拟性能问题来排除故障44
3.1.5新硬件的基准测试45
3.1.6学习虚拟化46
3.2成功构建测试实验室的策略49
3.2.1建立一个真实的环境49
3.2.2建立实验室51
3.2.3使用合适的测量工具52
3.3如何建立你的实验室52
3.3.1测试目标52
3.3.2实验室小结52
3.3.3供应实验室54
3.3.4定义IOmeter的工作负载和配置54
3.3.5实验室的事后分析54
3.4小结54
第4章CPU55
4.1CPU虚拟化基础55
4.1.1x86架构下的CPU保护模式56
4.1.2定义CPU虚拟化的类型57
4.1.3物理CPU和虚拟CPU之间的区别60
4.1.4vCPU状态60
4.2ESXiCPU的调度程序61
4.2.1比例分配算法61
4.2.2CPU联合调度63
4.2.3CPU调度单元64
4.2.4CPU拓扑感知负载均衡66
4.2.5多核感知负载均衡73
4.3为虚拟机调整CPU大小75
4.3.1vSMP的注意事项76
4.3.2NUMA与vNUMA的注意事项76
4.3.3CPU资源热插拔77
4.4CPU资源管理78
4.4.1CPU保留78
4.4.2CPU限制79
4.4.3配置CPU保留和限制79
4.4.4资源池80
4.5CPU性能问题的故障排除81
4.5.1使用esxtop诊断CPU性能问题82
4.5.2高CPU就绪时间83
4.5.3ESXi主机的CPU使用率高83
4.5.4用户的CPU高利用率高84
4.6小结85
第5章内存86
5.1ESXi内存管理86
5.1.1内存虚拟化87
5.1.2ESXi的内存管理88
5.1.3硬件辅助MMU虚拟化89
5.2虚拟机的内存回收90
5.2.1透明页共享91
5.2.2内存膨胀92
5.2.3内存压缩97
5.2.4管理程序内存交换99
5.2.5主机SSD缓存交换100
5.2.6主机内存回收102
5.2.7空闲页回收103
5.3管理虚拟机内存分配103
5.3.1工作集大小104
5.3.2比例分配算法104
5.3.3改变虚拟机内存大小109
5.3.4内存开销110
5.3.5内存过量110
5.4解决内存性能问题111
5.4.1使用esxtop来诊断内存性能问题111
5.4.2高虚拟机已消耗内存114
5.4.3高内存膨胀114
5.4.4管理系统内存交换115
5.4.5客户机操作系统内存交换116
5.5小结117
第6章网络118
6.1创建网络设计118
6.2选择虚拟交换机120
6.2.1标准vSwitch120
6.2.2vSphere分布式交换机121
6.2.3CiscoNexus1000VdvSwitch的思考124
6.2.4如何选择虚拟交换机124
6.3选择主机硬件125
6.3.1主机服务器类型125
6.3.2网络适配器127
6.4性能设计128
6.4.1ESXi主机层性能128
6.4.2虚拟机性能135
6.5解决网络问题139
6.6小结147
第7章存储149
7.1选择存储平台149
7.1.1存储区域网络150
7.1.2网络文件系统152
7.1.3虚拟SAN153
7.2设计物理存储153
7.2.1确定你的需求154
7.2.2RAID级别156
7.2.3闪存基础设施层160
7.2.4IP存储网络161
7.3设计vSphere存储163
7.3.1存储的重要性163
7.3.2VAAI165
7.3.3存储I/O控制167
7.3.4存储分布式资源调度程序170
7.3.5配置驱动存储173
7.3.6数据存储大小176
7.3.7vFlash读缓存177
7.3.8虚拟SAN185
7.3.9IP存储巨型帧188
7.4优化虚拟机性能190
7.4.1原始设备映射与VMDK文件191
7.4.2虚拟磁盘类型191
7.4.3虚拟SCSI适配器193
7.4.4客户操作系统磁盘对齐196
7.5排除存储故障问题197
7.5.1存储延迟198
7.5.2错误配置应用程序的存储202
7.5.3存储队列203
7.5.4端对端网络205
7.6小结205

Preface  前言很难想象我们已经在虚拟化行业中走了这么远。那些曾经被认为只用于开发和测试使用的小技术如今已经用于生产工作，甚至用于关键业务级应用。VMware vSphere平台几乎能够无障碍地支撑任何虚拟化工作，接近100%的虚拟化。 现在的工作负载比以往任何时候都有更高的要求。电子邮件服务器经常需要大量的内存和CPU资源来处理每日大量的电子邮件。从容量和性能的角度看，数据库服务器往往需要大量内存和存储资源来满足业务的需求。而且，最新的技术（如虚拟桌面架构（VDI））在vSphere环境中更是有着迫切的资源需求。 为了满足对更加强大的虚拟机的迫切需求，VMware继续开发了vSphere平台。如今在vSphere平台上的虚拟机可以拥有64个虚拟CPU和1TB的内存，同时vSphere拥有大量的内存优化技术，来帮助提升存储性能。VMware经过测试证明，许多大规模工作负载，如那些与Microsoft Exchange Server、SQL Server、Java相关的工作负载，虚拟化部署可以与在物理服务器上部署达到同样的效果，甚至在某些情况下可以有更好的效果。 相对于正面信息，人们倾向于长时间记住负面信息，对虚拟机的性能也是如此。例如2005年在VMware ESX 2.x上虚拟化一个大的工作负载，其性能可能达不到部署在物理服务器上的性能表现。但是那意味着当今vSphere 5.5的表现也是如此不堪吗？显然，如今你会获得更好的性能，但是很多人还是会以性能差为理由选择物理服务器。 正是基于这个理由我们撰写了本书，我们想要第一时间帮助那些拥有虚拟化解决方案的客户。我们已经亲眼看到，几乎所有的工作负载都可以虚拟化，vSphere平台可以提供与物理设备近似或者同样的性能。vSphere平台可以满足今天大规模工作负载的需求，我们将会向你一一展示。 这本书涵盖了你所需要的信息，以确保虚拟机性能能够满足应用和业务需求。我们希望通过阅读这本书，你将不再担心虚拟化工作负载的性能问题。 本书内容本书从两方面介绍虚拟基础设施的性能：概念方面和实际操作方面。 本书在概念方面将重点介绍设计原理，即当你创造虚拟基础设施和虚拟机时需要考虑的重要内容。本书还将展示如何排除性能故障，这也是对那些要求高性能的应用程序进行虚拟化时的一个重要话题。此外，本书还讨论一套通用工具，可以帮助你校准性能、诊断问题、检测持续性能。 本书还讨论虚拟基础设施性能的实际操作方面，包括分配虚拟机的CPU、内存、网络、存储时需要考虑的特定注意事项。理解这些原理并正确地分配这些资源会对你环境中所有虚拟机的性能产生巨大影响。每一章都会介绍通用的故障排除方法，这些方法可以用来诊断和解决CPU、内存、网络与存储性能问题。 本书各章主要内容如下： 第1章首先重点介绍如今在虚拟环境中构建数据中心性能时经常忽视的必要设计因素。通过现实设计案例，阐述使用数据中心已有资源构建应用程序的原则。 第2章提供虚拟化管理员工具箱里必备的工具，包括容量规划、性能基准管理、仿真vSphere的工具。这一章阐述这些工具的作用以及何时在容量规划、性能基准管理或者分析性能中使用这些工具。 第3章将介绍何时建立以及为什么建立一个测试实验室。另外，这一章还阐述将实验室扩大的可用工具和资源。该章还将为你的实验室提供一个独立的故障排除解决方案集。 第4章阐述在ESXi平台中CPU进程调度的基础知识，以及在如今现代处理器中硬件虚拟化增强的功能。该章还涉及CPU大小的推荐标准，从而为你的虚拟机提供良好的性能。本章还介绍了排除CPU性能故障的技术。 第5章阐述VMware ESXi管理内容的多种方法，包括工作负荷如何共享内存、如何从VM中回收内容。该章还涉及为虚拟机提供良好性能的内存大小的推荐标准以及排除内存性能故障的技术。 第6章阐述设计物理以及虚拟网络的方法，从而支持你的vSphere环境，包括主机选择会如何影响你的网络选项。还涉及推荐的网络分配和配置，以及排除网络性能故障的技术。 第7章阐述设计满足性能需求的物理和虚拟存储的方法。VMware在vSphere平台中引入很多的存储增强机制，该章将阐述这些机制及其使用方法，从而为虚拟机提供良好性能。还涉及排除存储性能故障的技术。 本书读者对象想要学习如何使VMware vSphere上的虚拟机拥有出色性能的虚拟化管理员、系统管理员，以及咨询顾问/架构师。假设你拥有基本的知识水平—本书没有涉及虚拟化的基本概念。为了更好地阅读本书，你应该具有以下知识： 对VMware vSphere的基本理解，包括对vMotion和Distributed Resource Scheduler的理解。 对网络和存储概念的基本理解。 安装和配置VMware vSphere的经验，因为本书没有涉及基本的配置任务。 设计、管理vSphere环境的经验，因为那将是理解本书内容的基础。 如果你刚刚接触VMware vSphere，我们强烈推荐阅读《Mastering VMware vSphere 5.5》（Sybex, 2014）这本书，它将给你提供成为vSphere专家所需的一切知识。 如何联系作者我们非常欢迎你对本书的反馈及内容建议。 作者联系方式： Matt，邮箱：matt.liebowitz@outlook.com，Twitter：@mattliebowitz，博客：www.thelowercasew.com。 Christopher，邮箱：Christopher.kusek@pkguild.com，Twitter：@cxi，博客：www.pkguild.com。 Rynardt，邮箱：rynardt.spies@virtualvcp.com，Twitter：@rynardtspies，博客：www.virtualvcp.com。 致谢  Acknowledgements作为技术编辑，我从2011年12月开始参与撰写本书。无数次的延期以及后来VMware vSphere的发布使得本书完成日期一次次推后。2013年3月，Jonathon Fitch，本书原作者之一，告诉我他的病情恶化了，可能无法完成他负责的章节。我同意接手他的工作，并保证他的思想仍体现在书中。令人悲伤的是，Jonathon在2013年4月去世了，但他大多数原始写作内容仍保留在书中相关章节。 感谢我的两位合著者Christopher Kusek和Rynardt Spies，感谢他们两年多来对我的包容。从开始的技术编辑到后来的合著者，我很高兴有此机会和他们一起写作，最终将本书出版，感谢他们的努力！ 从头开始写一本书是一件困难的事情，接手他人的章节并进行修订更加困难。感谢Sybex出版社Mariann Barsolo和Pete Gaughan的帮助。谢谢他们对本书写作日程表不断修改的包容，以及对我写作工作的大力支持。谢谢他们以及Sybex团队的所有人！ 技术性书籍的写作需要准确性，我们非常幸运由在虚拟化行业中非常资深的Jason Boche作为本书的技术编辑。感谢Jason让我们忠实于技术，确保书中内容正确。非常感谢他的建议和观点。如果你想转变角色成为作者，我随时愿意成为你的技术编辑。 我还想要感谢一些朋友以及同事，他们一直鼓励着我。Dave Carlson，谢谢他这些年的支持，不论个人方面还是专业方面。Michael Fox，谢谢他对我在本书写作中的鼓励和支持。谢谢我过去以及现在的同事，包括Joe Hoegler、Rob Cohen、Dave Stark、Robin Newborg、Ahsun Saleem、Amit Patel和Ryan Tang。谢谢他们所有人！ 最后，我要感谢我的家人对我写作本书的支持。谢谢我的妻子Joann，谢谢她一直以来的支持，在我熬夜写书时照顾我们的孩子。我的孩子Bean和Katie Mac，我爱他们，即使他们现在还不能理解这些文字，这些也都是献给他们的！ —Matt LiebowitzGoogle把“致谢”定义为“表达或展示感谢、欣赏某些事物的行为”。根据Google的定义，我必须承认本书是不可能由一个人单独完成的。所有参与本书写作的人，我感谢他们。我要感谢本书的合著者：Matt Liebowitz和Rynardt Spies，以及技术编辑Jason Boche。我还要特别感谢Jonathon Fitch，感谢他所有的付出。我们的勤奋工作确保他的记忆能永远留存。 感谢Sybex出版社的伟大团队，感谢Mariann Barsolo、Pete Gaughan、Jenni Housh、Connor O払rien、Christine O扖onnor，特别是Alexa Murphy！ 我要感谢一些朋友和同事：Chad Sakac，因为他生活在非洲中部的一个内陆国家；John Troyer和Kat Troyer，他们如此热爱摇滚；John Arrasjid，我们一起在PEX的Barenaked Ladies发射绿色激光；Mike Foley，不仅因为他喜欢摇滚，他是我来阿富汗之前最后一个共进晚餐之人；Scott和Crystal Lowe，他们夫妇是虚拟化业界的权威；Ted Newman和Damian Karlson，虚拟化技术让他们如此痴迷和疯狂；我的伙伴，阿富汗的vExpert，William Bryant Robertson和Brian "Bo" Bolander，以及我们勇敢的伙伴Brian Yonek和Stacey McGill。 最后，感谢我的家人，因为他们喜爱摇滚。 —Christopher Kusek要列出所有为此书以及我的事业作出贡献的人，并不是一件容易的事情。没有他们的支持及付出，我不可能参与这样一本书的写作。 我要感谢Sybex团队的同事： Mariann Barsolo、Alexa Murphy、Jenni Housh、Connor O払rien、Pete Gaughan，以及Wiley团队的同事，是他们的努力让本书得以出版，我很荣幸与他们一起工作。 对于我的合著者，感谢他们这么长时间对我的包容。Christopher，作为本书的作者之一，我要感谢他的辛苦付出和专业精神。Matt，我知道从他人手中接手一个项目通常不容易，谢谢他作为技术编辑的贡献和指导，同时感谢他能够在忙于其他写作项目时还能够接手Jonathon的工作。 对技术编辑Jason Boche，感谢他让我们保持准确。团队中有了他，我们才确保知识的正确性，当我某天早上尝试梳理自己的文字时，他都会在那里指出不正确的地方。 我还要特别感谢Mendel Rosenblum教授，VMware的联合创始人之一。谢谢他在百忙之中帮助我理解x86 CPU虚拟化的一些内部工作。当我阅读了上百页相互冲突的技术文档后，他的帮助确保本书的读者能获得关于x86 CPU虚拟化的正确信息。 对于VMware，感谢他在vSphere中创建了这样一个了不起的项目！感谢VMware的性能工程师，每当我需要信息时他们总会给我指出正确的方向。 感谢Scott Lowe在我写作本书过程中对我的帮助，并且让我接触到VMware公司的相关技术人员。十分感谢他的贡献。Mike Laverick，感谢他一直以来的支持以及对我写作本书过程中提供的指导。 对于虚拟化社区中的其他朋友，感谢他们使虚拟化社区成为最好的社区之一。Tom Howarth，感谢他对我所从事事业的支持，我感激他的友谊。感谢Tyrell Beveridge向我提供实验室的硬件，使我可以为本书做大量测试。 另外，感谢Computacenter的同事给予我的支持和专业指导。我很荣幸地能够与他们一起工作。 如果没有他人对我在IT技术方面的帮助，我不可能完成本书的写作。我要感谢Paul Liversidge让我在2005年走进ESX 2，这是所有工作的开始，感谢他2005年对我技术方向的指导。感谢Philip Damian-Grint，感谢他对我事业的指导和技术贡献，感谢他在我写作期间与我的大量交流以及对我的鼓励。 我还要特别感谢我的家人对我的支持以及鼓励。我的妻子Sarah，感谢她在本书写作期间的包容。感谢我的孩子Lanie和Zachariah，他们的乖巧带给我如此多的欢乐。他们是最棒的，我爱他们。 感谢我的父母、兄弟、姐妹，他们是我最好的家人。谢谢他们的祈祷并且一直相信我。即使我们有的时候相距千里，他们永远在我心里，我爱他们。 —Rynardt Spies