片上网络原理与设计

本书采用自底向上的方式深入探索了片上网络的设计空间，从底层路由器、缓存和拓扑结构的实现，到网络层路由算法和流控机制的设计，再到片上网络与高层并行编程模式的协同优化。本书可作为研究人员的科研参考书，也可作为计算机科学和微电子专业高年级本科生和研究生教材。

王志英，国防科技大学计算机学院教授、博士生导师，1992年成为重量突出贡献中青年专家并享受政府特殊津贴。现任教育部计算机类专业教学指导委员会副主任、全国高校计算机教育研究会理事长、中国计算机学会教育专委会副主任。他的主要研究方向为微处理器设计和计算机系统结构，近十余年作为负责人主持国家自然科学基金、国家“973”计划、国防预研基金、国家“863”高技术研究等科研项目近20项，其研究成果在关键技术上都处于业界靠前水平。
作者团队长期从事计算机体系结构研究，在IEEE/ACM Transactions、ISCA、HPCA、DAC等靠前很好期刊和会议上发表了数篇片上网络方向的研究论文，研究成果具有较大的影响力。

前言
第一部分序言
第1章绪论
1.1众核处理器时代
1.2以通信为核心的跨层次优化
1.3片上网络简介
1.3.1拓扑结构
1.3.2路由算法
1.3.3流控机制
1.3.4路由器微结构
1.3.5性能评价指标
1.4片上网络研究现状
1.4.1拓扑结构的研究
1.4.2单播通信路由的研究
1.4.3聚合通信路由的研究
1.4.4流控机制的研究
1.4.5路由器微结构的研究
1.5真实处理器的片上网络
1.5.1MIT RAW处理器
1.5.2Tilera TILE64处理器
1.5.3Sony/Toshiba/IBM Cell处理器
1.5.4U.T.Austion TRIPS处理器
1.5.5Intel Teraflops处理器
1.5.6Intel SCC处理器
1.5.7Intel Larrabee处理器
1.5.8Intel Knights Corner处理器
1.5.9真实处理器片上网络特性总结
1.6全书内容概述
1.7参考文献
第二部分逻辑层实现
第2章单周期翼通道路由器结构
2.1引言
2.2翼通道路由器体系结构
2.2.1翼通道单周期路由器总体结构
2.2.2翼通道工作原理
2.3路由器微体系结构设计
2.3.1通道分配部件
2.3.2快速仲裁部件
2.3.3SIG管理单元和SIG控制单元
2.4实验评估
2.4.1模拟环境
2.4.2流水线延迟分析
2.4.3延迟与吞吐率
2.4.4面积与功耗
2.5本章小结
2.6参考文献
第3章动态虚通道路由器
3.1引言
3.2拥塞感知的动态虚通道结构
3.2.1动态虚通道
3.2.2拥塞缓解策略
……
第4章虚拟总线拓扑结构
第三部分网络层路由和流控设计
第5章区域隔离路由算法
第6章完全自适应路由算法的流控机制
第7章切片气泡流控机制
第8章高效能与公平性流控
第四部分软件层编程模式支持
第9章一致性协议聚合通信支持
第10章MPI原语的定制通信架构
第11章MPI通信协议优化
第五部分后记
第12章结语与展望

前  言Preface半导体工艺的进步使得集成电路的晶体管数目不断增加，设计复杂单核处理器面临的功耗急剧上升和收益逐渐下降等问题导致研究人员转向设计多核处理器。当前处理器已经集成了数十甚至上百个计算核，业界已进入众核处理器时代，但是众核处理器设计依然面临着从底层逻辑实现到高层编程模式等方面的关键挑战。众核处理器的正确性、性能和效率都取决于处理器内部的通信机制，有效解决众核处理器面临的众多挑战需要采用以通信为核心的跨层次优化方法。    传统的片上总线通信机制存在带宽较低、延迟较大、功耗较高、可扩展性较差等缺陷。为避免这些缺陷，片上网络将报文交换思想引入芯片内部通信机制中，由于它具备许多优良的特性，因此迅速成为系统结构领域的一个重要研究方向。尽管片上网络与片外网络具有一定的相似性，但是两者在延迟、功耗和面积等方面有着本质区别。片上网络要与计算核一起竞争芯片宝贵的功耗和面积资源，这使得片上网络只能利用有限的功耗和面积资源。为了在有限的功耗和面积开销下获得较高的性能，设计者应该更加关注片上网络的优化，包括底层逻辑实现的优化、网络层路由和流控的优化以及面向高层编程模式的优化。    我们课题组从事计算机系统结构前沿领域的研究，在片上网络方向已有十余年的耕耘，在许多国际知名期刊和会议上发表了数十篇具有影响力的论文。本书对课题组发表的较具影响力的片上网络相关论文进行了回顾和总结，包括在顶级和权威会议ISCA、HPCA、DAC、ICCD、ASAP、ASP-DAC发表的7篇论文，以及在顶级和权威期刊《IEEE Transactions on Computers》《IEEE Transactions on Parallel and Distributed Systems》《ACM Transactions on Architecture and Code Optimization》《Microprocessors and Microsystems》发表的6篇论文。    本书并不是对课题组研究成果和设计经验的简单堆叠，而是对内容进行了精心组织，自底向上涵盖了从底层路由器、缓存和拓扑结构的实现，到网络层路由算法和流控机制的设计，再到片上网络与高层并行编程模式的协同优化等内容。本书包括五个部分，第一部分对本书内容进行简介，第五部分对全书内容进行总结并展望了未来工作，中间三部分是本书的主体部分。    第二部分关注底层逻辑实现，由第2～4章组成。第2章讨论了一种基于翼通道的单周期路由器结构，它能显著降低网络延迟。第3章研究了两种具备拥塞感知能力的动态虚通道结构，这些结构能够在不同虚通道或者不同物理端口之间共享缓存资源。第4章介绍了一种扩展虚拟总线的片上网络拓扑，这种拓扑结构能高效支持重要的多播和广播通信。    第三部分讨论路由算法和流控机制，包括第5～8章。第5章设计面向负载整合模式的路由算法，该路由算法能为多个同时运行的应用程序提供较高适应性和动态隔离性。第6章提出了一种面向完全自适应路由算法的流控机制，它能显著提升缓存资源的利用率。第7章讨论了面向Torus网络的流控机制，所提出的切片气泡流控在低开销条件下获得了较高的性能。第8章研究高效能和公平性流控机制，提出的基于当值缓存的流控机制可有效支持对缓存进行电源门控，同时提出了考虑报文传输公平性的流控机制。    第四部分研究片上网络和高层并行编程模式的协同优化，包括第9～11章。第9章为cache一致性协议中的聚合通信提供硬件支持以防止这些通信成为性能瓶颈。第10章面向消息传递编程模式定制片上网络，为消息传递基本原语提供了专用硬件实现。第11章研究了一种自适应消息传递通信协议，该协议兼具缓存通信模式和同步通信模式的优点。    总之，基于以通信为核心的跨层次优化方法，本书内容显著推动了片上网络和多核处理器研究领域的进步。本书以一种自底向上的方式全面探索了片上网络设计空间，研究成果涵盖片上网络领域的大量研究主题，不仅提升了众核处理器通信层的性能并降低了硬件开销，还有效缓解了众核处理器逻辑实现层和并行编程模式层面临的问题。    本书由王志英主编、策划和统筹，写作分工如下：第1章、第5章、第6章、第7章、第9章和第12章由马胜撰写，第2章由赖明澈撰写，第3章由石伟和赖明澈撰写，第4章、第10章和第11章由黄立波撰写，第8章由王鹏撰写。    本书的编写得到了机械工业出版社的大力支持，并得到了如下项目的资助：国家自然科学基金课题61572508、61272144、61672526、61303065、61472435、61572509和61402497，国家重点研发计划课题2016YFB0200203，国家863计划课题2015AA015302。    本书是国内第一部片上网络领域的学术专著，可用作研究人员的科研参考书，也可作为计算机科学和微电子专业高年级本科生和研究生教材。    由于作者的能力和知识面有限，书中难免存在错误和缺陷，恳请读者批评指正。    王志英国防科技大学zywang@nudt.edu.cn2016年11月于湖南长沙