机器学习及其硬件实现

1. 涵盖多种机器学习硬件和平台，以及各类机器学习硬件加速器解决方案，读者可根据需要将这些解决方案应用于合适的机器学习算法。 2. 对现有研究成果和产品进行回顾，分析不同的机器学习模型，并通过FPGA和ASIC方法解释目标机器学习模型的设计。 3. 对硬件设计的未来方向进行展望，涉及传统微处理器、GPU、FPGA和ASIC等，帮助读者了解现代研究趋势，进而实现自己的设计。

译者序
前言
第1章简介1
1.1机器学习的曙光1
1.1.1“Jeopardy!”中的IBM Watson挑战1
1.1.2ImageNet挑战2
1.1.3谷歌AlphaGo挑战职业围棋选手2
1.2机器学习及其应用3
1.2.1定义3
1.2.2应用3
1.3学习及其性能指标4
1.3.1学习前的准备5
1.3.2学习方法7
1.3.3性能指标和验证8
1.4例子11
1.4.1工业4.011
1.4.2交易（区块链）12
1.5机器学习的总结15
1.5.1与人工智能的区别15
1.5.2炒作周期15
第2章传统的微架构16
2.1微处理器16
2.1.1处理器核心的微架构16
2.1.2微处理器的编程模型17
2.1.3微处理器的复杂性18
2.1.4超标量处理器的优点和缺点20
2.1.5寄存器文件的规模20
2.1.6分支预测及其惩罚20
2.2多核处理器21
2.2.1众核的概念21
2.2.2编程模型21
2.3数字信号处理器22
2.3.1DSP的概念22
2.3.2DSP微架构23
2.4图形处理单元24
2.4.1GPU的概念24
2.4.2GPU微架构24
2.4.3GPU上的编程模型26
2.4.4将GPU应用于计算系统26
2.5现场可编程门阵列27
2.5.1FPGA的概念27
2.5.2FPGA微架构27
2.5.3FPGA设计流程28
2.5.4将FGPA应用于计算系统29
2.6特定领域架构的前景30
2.6.1过去的计算机行业30
2.6.2机器学习硬件的历史31
2.6.3重新审视机器学习硬件32
2.7执行性能的衡量指标34
2.7.1延迟和吞吐量34
2.7.2每秒的操作数35
2.7.3能耗和功耗36
2.7.4能效37
2.7.5利用情况39
2.7.6数据重用40
2.7.7面积41
2.7.8成本41
第3章机器学习及其实现43
3.1神经元及其网络43
3.2神经形态计算45
3.2.1脉冲时序依赖可塑性和学习45
3.2.2神经形态计算硬件46
3.2.3地址-事件表示48
3.3神经网络49
3.3.1神经网络模型50
3.3.2以前和现在的神经网络52
3.3.3神经网络硬件53
3.4用于模拟实现的内存单元57
第4章应用、ASIC和特定领域架构58
4.1应用58
4.1.1应用的概念58
4.2应用的特征59
4.2.1局部性59
4.2.2死锁60
4.2.3依赖性62
4.2.4时间和空间操作64
4.3特定应用的集成电路65
4.3.1设计约束65
4.3.2模块化结构和大规模生产69
4.3.3牧村波动70
4.3.4设计流程71
4.4特定领域架构71
4.4.1特定领域架构简介71
4.4.2特定领域语言72
4.5机器学习硬件73
4.6深度学习上的推理分析和训练分析74
4.6.1深度学习上的推理分析74
4.6.2深度学习上的训练分析76
第5章机器学习模型开发79
5.1开发过程79
5.1.1开发周期79
5.1.2交叉验证80
5.1.3软件栈81
5.2编译器82
5.2.1ONNX82
5.2.2NNVM83
5.2.3TensorFlowXLA83
5.3代码优化83
5.3.1提取数据级并行83
5.3.2内存访问优化84
5.4Python脚本语言和虚拟机85
5.4.1Python和优化85
5.4.2虚拟机86
5.5计算统一设备架构87
第6章性能提升方法89
6.1模型压缩89
6.1.1剪枝89
6.1.2dropout93
6.1.3dropconnect94
6.1.4蒸馏94
6.1.5主成分分析96
6.1.6权重共享97
6.2数值压缩99
6.2.1量化和数值精度100
6.2.2对内存占用和推理准确性
的影响103
6.2.3切边和剪裁109
6.3编码110
6.3.1游程编码110
6.3.2霍夫曼编码111
6.3.3压缩的效果113
6.4零值跳过116
6.4.1零值跳过的概念116
6.4.2CSR和CSC的稀疏表示116
6.4.3零值跳过的用例119
6.5近似121
6.5.1近似的概念121
6.5.2激活函数近似121
6.5.3乘法器的近似123
6.6优化125
6.6.1模型优化125
6.6.2数据流优化126
6.7性能提升方法的总结128
第7章硬件实现的案例研究130
7.1神经形态计算130
7.1.1模拟逻辑电路130
7.1.2数字逻辑电路131
7.2深度神经网络135
7.2.1模拟逻辑电路135
7.2.2DSP137
7.2.3FPGA139
7.2.4ASIC145
7.3量子计算175
7.4研究案例的总结175
7.4.1神经形态计算的案例研究181
7.4.2深度神经网络的案例研究181
7.4.3神经形态计算和深度神经网络硬件之间的比较182
第8章硬件实现的关键183
8.1市场增长预测183
8.1.1IoT市场183
8.1.2机器人市场184
8.1.3大数据和机器学习市场184
8.1.4药物研发中的人工智能市场185
8.1.5FPGA市场185
8.1.6深度学习芯片市场185
8.2设计和成本之间的权衡186
8.3硬件实现策略188
8.3.1策略规划的要求188
8.3.2基本策略191
8.3.3替代因子193
8.4硬件设计要求概述193
第9章结论194
附录A深度学习基础195
A.1等式模型195
A.1.1前馈神经网络模型196
A.1.2激活函数196
A.1.3输出层197
A.1.4学习和反向传播197
A.1.5参数初始化201
A.2用于深度学习的矩阵操作201
A.2.1矩阵表示及其布局202
A.2.2用于学习的矩阵操作序列203
A.2.3学习优化203
A.2.4偏置-方差问题203
附录B深度学习硬件建模205
B.1深度学习硬件的概念205
B.1.1参数空间与传播之间的关系205
B.1.2基本的深度学习硬件206
B.2深度学习硬件上的数据流206
B.3机器学习硬件架构207
附录C高级神经网络模型208
C.1CNN变体208
C.1.1卷积架构208
C.1.2卷积的后向传播210
C.1.3卷积的变体213
C.1.4深度卷积对抗生成网络215
C.2RNN变体215
C.2.1RNN架构215
C.2.2LSTM和GRU单元216
C.2.3公路网络218
C.3自编码器变体218
C.3.1堆式去噪自编码器218
C.3.2梯形网络219
C.3.3变分自编码器220
C.4残差网络221
C.4.1残差网络的概念221
C.4.2残差网络效应221
C.5图神经网络222
C.5.1图神经网络的概念222
附录D国家研究、趋势和投资224
D.1中国224
D.1.1下一代人工智能发展计划224
D.2美国225
D.2.1SyNAPSE计划225
D.2.2UPSIDE计划225
D.2.3MICrONS计划225
D.3欧洲225
D.4日本226
D.4.1内政及通信省226
D.4.2文部科学省226
D.4.3日本经济贸易产业省226
D.4.4内务省227
附录E机器学习对社会的影响228
E.1产业228
E.1.1过去的产业228
E.1.2下一个产业230
E.1.3开源的软件和硬件230
E.1.4社会企业和共享经济231
E.2机器学习与我们231
E.2.1机器学习可替代的领域231
E.2.2产业整合232
E.2.3一个简化的世界232
E.3社会与个人233
E.3.1将编程引入教育233
E.3.2价值改变233
E.3.3社会支持235
E.3.4犯罪235
E.4国家236
E.4.1警察和检察官236
E.4.2行政、立法和司法236
E.4.3军事236
参考文献237