雾计算

本书介绍了引领未来5G和物联网时代的雾计算技术、架构和应用。本书内容共11章，分为三部分。靠前~4章介绍能够实现雾网络中设备的通信和管理的各种技术，包括和云的交互、相关带宽需求的管理，以及边缘设备如何相互协同工作以满足要求等。第5~7章阐述雾应用中涉及的两个基本组件：存储和计算。第8~11章讨论雾架构的应用，以及为实现这些应用需要面对的挑战。本书适合云计算、雾计算、5G、物联网等领域的人士阅读。

蒋濛，普渡大学工程学院院长、教授，OpenFog联盟联合创始人。之前曾为普林斯顿大学教授并创建了EDGE实验室。2013年荣获美国国家科学基金会颁发的艾伦·沃特曼奖。

译者序
前言
第一部分雾的通信与管理
第1章ParaDrop：家用网关的边缘计算平台2
1.1引言2
1.1.1通过ParaDrop实现无线网关的多重任务管理及相关应用3
1.1.2ParaDrop平台的性能4
1.2在ParaDrop平台上实现服务5
1.3为ParaDrop平台开发服务7
1.3.1依托ParaDrop平台实现监控摄像头业务7
1.3.2依托ParaDrop平台实现环境传感器业务10
参考文献10
第2章管理带宽11
2.1引言11
2.1.1利用雾12
2.1.2家庭问题的解决方案12
2.2相关研究14
2.3信用分配和最优信用支出15
2.3.1信用分配15
2.3.2最优信用支出17
2.4在线带宽分配算法18
2.4.1估计其他网关的支出18
2.4.2在线信用支出决策和应用优先级设置20
2.5设计与实现20
2.5.1流量和设备分类22
2.5.2速率限制引擎22
2.5.3流量优先级设置引擎23
2.6实验结果24
2.6.1速率限制24
2.6.2流量优先级设置25
2.7网关共享结果26
2.8结论29
致谢30
附录2.A30
参考文献33
第3章面向雾网络的社交感知协作D2D与D4D通信35
3.1引言35
3.1.1从社交信任和社交互惠到D2D协作36
3.1.2智能电网：社交感知协作的D2D和D4D通信的物联网案例37
3.1.3主要结论39
3.2相关研究39
3.3系统模型40
3.3.1物理（通信）图模型40
3.3.2社交图模型42
3.4面向雾网络的社交感知协作D2D和D4D通信概述42
3.4.1基于社交信任的中继选择43
3.4.2基于社交互惠的中继选择43
3.4.3基于社交信任和社交互惠的中继选择47
3.5网络辅助中继选择机制48
3.5.1互惠中继选择循环发现48
3.5.2NARS机制49
3.5.3NARS机制的特性51
3.6仿真53
3.6.1ER社交图53
3.6.2基于实际追踪的社交图56
3.7结论58
致谢59
参考文献59
第4章你值得拥有更好的性能（来自你的智能设备）62
4.1为什么需要提供更好的性能62
4.2需要在哪里提供更好的性能63
4.3需要提供什么性能并且怎样提供64
4.3.1透明度64
4.3.2可预测性能68
4.3.3开放性73
4.4结论74
致谢75
参考文献75
第二部分雾的存储与计算
第5章提高通信效率的分布式缓存80
5.1引言80
5.2微微缓存81
5.2.1系统模型81
5.2.2来自帮助者节点的
自适应流84
5.3用户缓存85
5.3.1基于簇的缓存和D2D通信85
5.3.2基于ITLinQ的缓存和通信…88
5.3.3编码组播93
5.4结论和展望96
参考文献96
第6章无线视频雾网络：错误可恢复的实时协作数据流99
6.1引言99
6.2相关研究102
6.3系统运行和网络模型103
6.4问题建模和复杂度105
6.4.1NC数据包选择优化106
6.4.2广播者选择优化107
6.4.3复杂度分析108
6.5VBCR：一种用于实时视频且能实现协作恢复的分布启发式算法108
6.5.1初始信息交换108
6.5.2协作恢复109
6.5.3更新信息交换111
6.5.4视频数据包转发112
6.6仿真结果113
6.7结论116
参考文献117
第7章弹性移动终端云：借助移动终端提供边缘的云计算服务119
7.1引言119
7.2设计领域及实例121
7.2.1Mont—Blanc121
7.2.2计算与充电并行处理122
7.2.3FemtoCloud123
7.2.4Serendipity125
7.3FemtoCloud性能评估126
7.3.1实验设置126
7.3.2FemtoCloud仿真结果127
7.3.3FemtoCloud原型评估130
7.4Serendipity性能评估131
7.4.1实验设置131
7.4.2Serendipity性能增益132
7.4.3网络环境的影响132
7.4.4工作属性的影响136
7.5挑战137
参考文献138
第三部分雾的应用
第8章雾计算在未来汽车行业中的作用142
8.1引言142
8.2当前的汽车电子架构143
8.3汽车E／E架构的未来挑战及解决策略145
8.4未来汽车——车轮上的雾节点149
8.5凭借实时计算和时间触发技术实现车轮上的确定性雾节点150
8.5.1通过虚拟化解决可扩展性挑战的确定性雾节点151
8.5.2解决连接和安全挑战的确定性雾节点152
8.5.3汽车应用中确定性雾节点的新用例——全车虚拟化154
8.6结论155
参考文献155
第9章现场网络的位置寻址156
9.1引言156
9.1.1现场网络156
9.1.2现场网络面临的挑战157
9.2位置寻址158
9.3SAGP：现场的无线位置寻址160
9.3.1SAGP处理流程160
9.3.2SAGP重传启发式算法161
9.3.3SAGP数据包传播示例162
9.3.4跟随发送：有效的SAGP数据流动163
9.3.5迎接挑战164
9.4地理路由：将GA延伸到云端165
9.5SGAF：大规模GA的一种多层架构166
9.5.1不同层之间的桥接167
9.5.2混合安全架构168
9.6AT&T实验室的位置辅助多播架构169
9.7两个GA应用实例170
9.7.1PSCommander170
9.7.2位置辅助多播游戏172
9.8结论174
参考文献174
第10章面向智慧星球的分布式在线学习和流处理175
10.1引言：智慧星球175
10.2实例问题：交通运输177
10.3流处理特征178
10.4分布式流处理系统179
10.4.1研究现状179
10.4.2流处理系统180
10.5分布式在线学习框架183
10.5.1研究现状183
10.5.2在线分布式集成学习的系统框架185
10.5.3聚合权重的在线学习188
10.5.4碰撞检测应用190
10.6前景193
致谢194
参考文献194
第11章物联网安全：需要新方案和雾计算197
11.1引言197
11.2现有安全方案需要做根本性改变以应对新的物联网安全挑战198
11.2.1大量设备将有长的生命周期但受限且难以更新的资源199
11.2.2将所有的IoT设备部署在防火墙环境中将变的不可行200
11.2.3关键性任务系统需要影响最小的事件响应200
11.2.4庞大数量的IoT设备安全状态感知需求201
11.3一个新的物联网安全方案202
11.3.1对能力不足的设备提供雾计算帮助203
11.3.2通过集群认证将安全监控扩展到大量设备206
11.3.3具有自适应免疫安全性的动态风险—收益比例保护机制210
11.4总结213
致谢213
参考文献213

前言Bharath Balasubramanian1,Mung Chiang2,Flavio Bonomi31ATT研究实验室,贝德明斯特,新泽西,美国2EDGE实验室,普林斯顿大学,普林斯顿,新泽西,美国3Nebbiolo技术有限公司,米尔皮塔斯,加利福尼亚,美国过去15年，云计算兴起，互联网（Internet）骨干业务快速发展，蜂窝核心网络也变得越来越复杂。云有三种类型：数据中心、骨干互联网协议（IP）网络和蜂窝核心网络。它们具有计算、存储、通信和网络管理功能。最近，这三种类型云的功能正慢慢转移到终端用户或者靠近终端用户，称为“雾”。由于最新芯片、无线设备和传感器的功能不断增强，当前的边缘设备能够执行计算、存储、感知和网络管理等复杂功能。本书将阐述雾架构这个创新的概念，具体包含组网、计算和存储。    架构旨在把系统工作分为模块：谁（who）在什么时间节点（what timescale）做什么（what），以及怎样把这些模块紧密融合在一起。为了支持各种各样的应用领域，架构需要定义不同的层，并且划分为控制平面和数据平面，以及拆分为云和雾\[1\]。我们把雾架构定义为：为了实现云到物（C2T）的联合，雾架构使用一个或者大量协同的终端用户客户端或者靠近用户的边缘设备，进行一系列的存储、通信、控制、配置、测量和管理等操作。第五代（5G）移动通信系统、家庭/个人组网、嵌入式人工智能和物联网（IoT）等工程应用中都将使用雾架构\[2\]。    如图0.1所示，我们强调了雾指代一种能够计算、存储、控制和通信的网络架构，该架构支持各种类型的应用。雾架构有别于现有的云，主要体现在以下三方面：    1）在终端用户或者靠近终端用户处，执行大量的存储操作（云主要是存储在大规模的数据中心进行操作）。    图0.1  雾架构和雾架构支持的应用2）在终端用户或者靠近终端用户处，执行大量的通信操作（云通过骨干网络路由到集中节点进行操作）。    3）在终端用户或者靠近终端用户处，执行大量的计算和管理操作，包括网络测量、控制和配置（云主要是通过网关进行控制，就像在长期演进（LTE）的核心网中所执行的那样）。    当前，雾概念之所以越来越引起大家的兴趣，如CEAL所总结，有如下四方面的主要原因。从移动到有线传输，从物理层的波束赋形到应用层的边缘分析，最近的应用无不显示了雾的优点。    1）认知：以客户端为中心目标的感知。根据端到端原则，一些应用需要详细了解客户端的要求。当云无法保证隐私和可靠性或者通过缩短通信距离来增强安全性时，以客户端为中心目标的感知尤其重要。    2）高效：把本地资源整合在一起。每天，在台式电脑、笔记本电脑和机顶盒里，在会议交流中，在公共交通系统的乘客之间，都要产生数以亿计的闲置数据。相似地，边缘设备上未充分利用的处理能力、感知能力、无线连接能力等可以在雾网络理论上得以整合。    3）灵敏：快速的创新和可实现的缩放。借助客户端或者边缘设备进行操作，总是会更快速和更便宜。在大网络中由运营商主导的创新，常常需要等待很长时间。与此不同，在领域，小公司可以充分利用智能手机的应用程序编程接口（API）和软件开发工具包（SDK），随着移动应用的扩散传播，通过自己的API提供创新的网络业务。    4）低时延：实现实时处理和信息物理系统控制。边缘数据分析和通过控制环进行的各种操作，对时延有严格的要求，这使得其只能在边缘或者“物体”中进行操作。特别是对指尖物联网来说，这一点尤其重要。指尖物联网要求提供毫秒级的反应时间，以便实现人与设备间的虚拟交互。    下面进一步阐述雾的潜在优势。客户端和边缘设备的能力已经显著提升。例如，最早的苹果手机（iPhone）配置了单核412MHz的ARM处理器、128MB的随机存取存储器（RAM）及8GB的存储器。而iPhone 5S则配置了双核1.3GHz的苹果A7处理器、1GB的RAM、64GB的存储器及增强的图形处理器（GPU）能力。Intel的移动芯片Atom和Nvidia的Tegra也提供了类似的增强能力。这些能力和特征的增强意味着边缘设备可以提供更加复杂的功能，例如CPU/GPU之间的增强博弈协作、强大的定位和上下文跟踪传感器以及增强的存储器。更进一步，如文献\[9\]所述，这些互相连接的边缘设备可以在IoT中发挥关键作用。移动手机和可穿戴电子设备等边缘设备使用了多种多样的传感器，包括陀螺仪、加速计、里程计，以便监控周围环境。这些传感器不仅方便挖掘个人的位置信息和物理/心理特征，还有助于挖掘这些边缘设备正在与周围的其他设备进行的各种公共交互等。    随着基于云的业务需求的增加，在核心网络产生的数据业务数量也急剧增加。Cisco预测云业务未来5年将增加4~5倍\[10\]，而且他们还预测云IP业务到2017年约占所有数据中心业务的2/3。雾通过本地满足业务应用需求可以降低IP业务占比吗？例如，部分云存储能够转移到离边缘/客户端设备更近的微数据中心吗？视频能够高效地存储在边缘设备，以减少用户从云获得业务吗？或者更宽泛地讲，边缘设备能够在基于数据平面的云业务和基于控制平面的核心网络业务之间发挥积极的作用吗？接入云经常需要跨越地域上距离较长的多个通信实体，从而造成约150～200ms的往返时延。对于终端用户来说，接入时延是一个非常关键的指标。已有研究表明，如果能够缩短20%的往返时间（RTT），则能够使得网页下载时间缩短15%\[11\]。一种减少内容接入RTT的高效方法就是把尽可能多的内容放置在物理上离终端用户近的地方。减少时延对所有业务来说都是有好处的，而且未来对许多新的业务来说也是必需的。例如，增强现实（AR）应用能够忍受的延迟范围为10～20ms\[12\]。因此，这些业务的计算/处理可以在本地进行。雾业务在解决这些挑战中可以发挥重要作用。    雾研发（R&D）利用传感器网络、对等系统和移动自组网等过去的经验，并充分利用设备、系统和数据科学方面的最新发展，在生态系统中功能强大的数据中心和边缘设备间实现能力的平衡分布。为此，本书将介绍演进的雾架构，同时介绍和雾架构相关的许多其他领域的工作。    本书将描述许多在分布式计算、网络和存储系统中涉及的普通用例和应用。计算资源通常分布式地布置在家庭、工厂、道路和高速公路、城市、购物中心等地方。普适计算已经流行好长一段时间了。组网时经常需要部署交换机、路由器，以及在边缘设备处安装中间件等。在边缘设备处的缓存媒体和数据对Web业务和视频分发的演进具有根本性的影响。    作为一个经典且重要的R&D领域，许多和雾架构相关的文章并不是全新的，可以将它们视为过去十年到二十年累积的成果，实现了从量变到质变的演进。    ●和2005年左右的对等（P2P）网络相比，雾并不仅仅是内容共享（或把数据平面整合在一起），它还包括网络测量、控制和配置，以及业务定义。    ●和十年前的移动自组网（MANET）相比，现在有更多能力更强大、种类更多样的现成边缘设备和应用，以及来自于蜂窝和广播网络的分层架构。    ●和过去传统的边缘网络相比，雾网络提供了一种新颖的端到端原则的实现方法：不仅在边缘设备之间进行优化，还在网络的其他实体中进行协作测量和控制。    信息中心网络（ICN）和软件定义网络（SDN）都有很长一段历史了，连同这两种网络架构，雾正在重新思考工程网络的基础。具体来说，就是如何优化网络功能：谁做什么，以及如何把它们整合在一起。    ●信息中心网络：重新定义功能（操作的不仅仅是数据，而是数据对象）。    ●软件定义网络：虚拟化功能（通过中心控制平面）。    ●雾网络：重新定位功能（靠近终端用户，实现C2T的连接）。    雾网络不是必须要有虚拟化或者信息中心功能，但是，可以猜想未来会出现具有信息中心、软件定义的雾网络（因为这三种网络并不是正交的）。    随着信息技术（IT）领域中各种新的概念和模型的提出，以及为了满足运维技术（OT）领域的各种需要，例如时间敏感、在网络中确定性的行为、计算、存储、传感器和传动器支持/聚合，甚至安全性支持，雾在许多关键的IoT垂直行业中是一种完美的解决方案，它实现了IT和OT的高度融合，而且应用前景广阔。从这方面来说，雾不仅是对传统的相关技术（其中包括传感器、自组网、普适计算、分布式存储等）的构建或者融合，还为IoT背后的IT和OT的融合提供了一种新颖且及时有效的方法。    随着云的增强、统一和现有技术方法的一系列演进，在向IoT进军的特殊时刻，雾也在增强、统一，并向边缘技术和方法的一系列创新和融合演进。伴随着端点和云的涌现，雾将能够确保分布式应用无缝部署，在一个广泛的垂直领域满足各种关键用例的需要。例如，一些雾架构和雾功能的早期工作主要由车联网、智能电网、分布式分析、Web业务及视频分发等技术的发展所驱动\[9,13,14\]。    章节概览本书内容主要分为三大部分。前四章将介绍实现雾网络中设备的通信和管理的各种技术，包括和云的交互、相关带宽需求的管理，以及边缘设备如何相互协同工作以满足要求等。中间三章将阐述许多雾应用中涉及的两个基本组件：存储和计算。最后四章将讨论雾架构的应用，以及实现这些应用面临的挑战。    通信与管理。第1章将介绍一个专门的边缘计算框架——ParaDrop，它使得开发者能够使用网关这一终端用户设备的最稳定且持久的计算资源，这里的网关是指Wi-Fi的接入点或者家用机顶盒。基于一个能够把边缘设备部署在同一个容器里的特定平台，作者展示了一些非常有意思的应用，例如如何在边缘设备中安装监控摄像头和环境传感器。    为了在雾中实现丰富的通信，必须要解决带宽的需求问题。按照雾网络的原理，为什么不能利用边缘设备的能力做到这一点呢？在第2章中，为了应对日益增长的带宽需求，作者提出了基于家庭用户的带宽管理解决方案，这是一种可以使家用网关和终端用户设备更智能的新技术。作者说明使用两级系统可以更好地利用网络带宽，一级是基于在激励机制下利用固定信用从互联网服务供应商“购买带宽”的网关，另一级是基于终端用户对应用程序设置的优先级。    第3章是从设备之间对等通信的角度来处理这个问题的。作者提出了一种基于博弈理论的机制，即平板电脑和手机等终端用户设备可以相互配合，作为对方网络流量的中继，从而提升网络能力。应对潜在的数千甚至数百万的雾物联网设备是雾管理和通信的一个重要任务。    第1章介绍的基于容器的方法是与操作系统无关的，而第4章指出，基于边缘设备的底层操作系统应该进一步演进，以便支持雾计算和组网。为此，从宽泛分析的角度出发，作者重点讨论了四个重要的方面：为何这些系统需要提供更好的性能来支持雾？需要在哪里提供更好的性能？哪些性能是真正需要提供的？如何提供这些更好的性能？存储与计算。接着第一部分继续讨论，第二部分将介绍两个重要的平台功能：雾网络下视频传输的存储和缓存以及雾计算技术。第5章介绍视频点播（VoD）的缓存方案，特别是对视频传输中的最后一个无线跳的优化。虽然大多数基于CDN的系统都侧重于网络边缘的缓存，但作者在这里重点关注边缘设备(例如Femto辅助节点,类似于Femto基站）中的缓存和终端用户设备自身。    第6章将重点从VoD转移到实时视频流，这是一个与雾范式的使用有着非常不同的要求但又有着相似的潜在用途的用例。作者讨论了一种技术，通过这种技术，终端用户设备像操作无线雾那样将实时视频流在彼此之间进行传输。他们关注这种系统中的关键问题——有损无线链路造成的错误，并针对无线多跳雾网络提出了一种将传统存储和转发技术与网络编码相结合的存储恢复转发策略。    第7章从存储转到讨论雾中的通用计算。与本书的其他章类似，作者认为移动设备现在已经变得强大很多，因此在本地可以通过精心设计的雾架构来处理计算任务。他们关注两个设计：Femto Cloud（讨论了移动设备计算平台的通用架构），Serendipity（对于设备的高度移动性和通常任务需要相互卸载的问题，讨论了一个更严格的版本）。    应用。在了解平台要求和改进的基础上，本书最后讨论基于雾架构的应用。在第8章中，作者仔细研究了车联网所面临的挑战，车联网是一个日益凸显的物联网用例。特别地，他们关注能够实现这一应用的电子架构，并描述了如何使用虚拟化技术进行雾计算，诸如安全和管理等若干问题的平台统一化将有助于迎接这些挑战。    在第9章中，作者认为基于IP寻址的传统方式对于在雾环境中工作的与云服务器交互或彼此交互的实地IoT设备并不总是起作用。这主要是由于设备移动性、设备空间密度和覆盖缺口等因素。他们提出了一种位置寻址方法作为替代，其中通信协议允许设备基于其地理位置而不是IP地址来确定目标设备。    在10章中，作者提供了分布式流处理系统和在线学习框架的详细分析，以便构建他们所谓的智慧星球。他们设想了一个这样的世界：用户不断收集周围的数据，处理这些数据，进行有意义的分析，并根据这一分析做出决策。然而，主要的挑战是考虑到潜在的大量低功耗传感器和用户的移动性，所有这些数据分析都需要在其生命周期中大量分布。强大的分布式学习框架与能为这种框架提供平台功能的雾计算相结合可以实现智慧星球的愿景。    第11章通过讲述雾计算如何帮助解决IoT设备安全的关键需求来结束本书。作者以这个问题开头：与标准的企业安全相比，IoT安全性有什么不同?需要改变什么？随后他们回答了这些问题，并确定了IoT的关注点：从海量设备到安全信息方面的定期更新需求。最重要的是，他们关注雾范式如何通过提供框架和平台来减轻IoT设备的负载并完成诸如端点验证和安全更新等操作来帮助解决同类问题。    致谢如果没有众多人的帮助，本书是不可能出版的，我们真诚地对这些人表示感谢。    特别是，Jiasi Chen博士、Michael Wang博士、Christoper Brinton博士、Srinivas Narayana博士、Zhe Huang博士、Zhenming Liu博士对本书提供了宝贵的反馈意见。感谢Jon Wiley and Sons出版社对本书的策划和出版尽心尽力。感谢美国国家科学基金会对雾研究的资金支持。最后同样重要的是，本书的最大的价值还是在于它的内容，我们对所有章节的作者表示感谢，感谢他们在撰写此书时的技术贡献和永无止境的热情。    参考文献