大模型技术30讲

本书采用独特的一问一答式风格，探讨了当今机器学习和人工智能领域中最重要的30 个问题，旨在帮助读者了解最新的技术进展。全书共分为五个部分：神经网络与深度学习、计算机视觉、自然语言处理、生产与部署、预测性能与模型评测。每一章都围绕一个问题展开，不仅针对问题做出了相应的解释，并配有若干图表，还给出了练习供读者检验自身是否已理解所学内容。 本书适合机器学习初学者以及相关从业者和研究人员阅读。

塞巴斯蒂安·拉施卡（Sebastian Raschka） 威斯康星大学麦迪逊分校统计学副教授，专注于机器学习和深度学习研究。他拥有密歇根州立大学的博士学位，在计算生物学领域提出了几种新的计算方法，曾被科技博客Analytics Vidhya评为GitHub上极具影响力的数据科学家之一。他在Python编程方面拥有多年经验，同时还多次参加数据科学应用与机器学习领域的研讨会。畅销书《Python机器学习》和Machine Learning with PyTorch and Scikit-Learn的作者。

第一部分　神经网络与深度学习 第1章　嵌入、潜空间和表征 2 1.1　嵌入 2 1.2　潜空间 4 1.3　表征 4 1.4　练习 5 1.5　参考文献 5 第2章　自监督学习 6 2.1　自监督学习与迁移学习 6 2.2　使用无标签数据 8 2.3　自预测与对比自监督学习 8 2.4　练习 10 2.5　参考文献 10 第3章　小样本学习 12 3.1　数据集与术语 12 3.2　练习 14 第4章　彩票假设 15 4.1　彩票假设的训练流程 15 4.2　实际意义与局限性 16 4.3　练习 17 4.4　参考文献 17 第5章　利用数据来减少过拟合现象 18 5.1　常用方法 18 5.1.1　采集更多数据 18 5.1.2　数据增强 19 5.1.3　预训练 20 5.2　其他方法 20 5.3　练习 21 5.4　参考文献 21 第6章　通过改进模型减少过拟合现象 23 6.1　常用方法 23 6.1.1　正则化 23 6.1.2　选择更小的模型 25 6.1.3　集成方法 26 6.2　其他方法 27 6.3　选择正则化技术 28 6.4　练习 28 6.5　参考文献 28 第7章　多GPU训练模式 30 7.1　训练模式 30 7.1.1　模型并行 30 7.1.2　数据并行 31 7.1.3　张量并行 31 7.1.4　流水线并行 32 7.1.5　序列并行 33 7.2　建议 34 7.3　练习 34 7.4　参考文献 34 第8章　Transformer架构的成功 36 8.1　注意力机制 36 8.2　通过自监督学习进行预训练 37 8.3　大规模参数 38 8.4　轻松并行化 38 8.5　练习 39 8.6　参考文献 39 第9章　生成式AI模型 40 9.1　生成式模型与判别式模型 40 9.2　深度生成式模型的类型 41 9.2.1　能量模型 41 9.2.2　变分自编码器 42 9.2.3　生成对抗网络 43 9.2.4　流模型 43 9.2.5　自回归模型 44 9.2.6　扩散模型 45 9.2.7　一致性模型 46 9.3　建议 47 9.4　练习 47 9.5　参考文献 47 第10章　随机性的由来 48 10.1　模型权重初始化 48 10.2　数据集采样与重排 49 10.3　非确定性算法 49 10.4　不同运行时的算法 50 10.5　硬件与驱动程序 51 10.6　随机性与生成式AI 51 10.7　练习 53 10.8　参考文献 53 第二部分　计算机视觉 第11章　计算参数量 56 11.1　如何计算参数量 56 11.1.1　卷积层 57 11.1.2　全连接层 58 11.2　实际应用 59 11.3　练习 60 第12章　全连接层和卷积层 61 12.1　当卷积核与输入大小相同时 62 12.2　当卷积核大小为1时 63 12.3　建议 63 12.4　练习 63 第13章　ViT架构所需的大型训练集 64 13.1　CNN中的归纳偏置 64 13.2　ViT可以比CNN表现得更好 67 13.3　ViT中的归纳偏置 67 13.4　建议 68 13.5　练习 69 13.6　参考文献 69 第三部分　自然语言处理 第14章　分布假设 72 14.1　Word2vec、BERT和GPT 73 14.2　假设成立吗 74 14.3　练习 75 14.4　参考文献 75 第15章　文本数据增强 76 15.1　同义词替换 76 15.2　词语删除 77 15.3　词语位置交换 77 15.4　句子乱序 77 15.5　噪声注入 78 15.6　回译 78 15.7　合成数据生成 79 15.8　建议 79 15.9　练习 80 15.10　参考文献 80 第16章　自注意力 81 16.1　RNN中的注意力 81 16.2　自注意力机制 83 16.3　练习 84 16.4　参考文献 84 第17章　编码器和解码器风格的 Transformer架构 85 17.1　原始的Transformer 85 17.1.1　编码器 87 17.1.2　解码器 88 17.2　编码器 解码器混合模型 89 17.3　专业术语 89 17.4　当代Transformer模型 90 17.5　练习 91 17.6　参考文献 91 第18章　使用和微调预训练 Transformer 92 18.1　使用Transformer执行分类任务 92 18.2　上下文学习、索引和提示词调优 94 18.3　参数高效的微调方法 97 18.4　基于人类反馈的强化学习 102 18.5　适配预训练语言模型 102 18.6　练习 103 18.7　参考文献 103 第19章　评测生成式大模型 104 19.1　大模型的评测指标 104 19.1.1　困惑度 105 19.1.2　BLEU 106 19.1.3　ROUGE 107 19.1.4　BERTScore 109 19.2　替代指标 110 19.3　练习 110 19.4　参考文献 110 第四部分　生产与部署 第20章　无状态训练与有状态训练 114 20.1　无状态（重）训练 114 20.2　有状态训练 115 20.3　练习 115 第21章　以数据为中心的人工智能 117 21.1　以数据为中心的人工智能与以模型 为中心的人工智能 117 21.2　建议 119 21.3　练习 119 21.4　参考文献 120 第22章　加速推理 121 22.1　并行化 121 22.2　向量化 122 22.3　循环分块 123 22.4　算子融合 123 22.5　量化 124 22.6　练习 125 22.7　参考文献 125 第23章　数据分布偏移 126 23.1　协变量偏移 126 23.2　标签偏移 127 23.3　概念偏移 128 23.4　领域偏移 128 23.5　数据分布偏移的类型 129 23.6　练习 130 23.7　参考文献 130 第五部分　预测性能与模型评测 第24章　泊松回归与序回归 132 第25章　置信区间 134 25.1　定义置信区间 134 25.2　方法 136 25.2.1　方法1：正态近似区间 136 25.2.2　方法2：使用自助法构建 训练集 137 25.2.3　方法3：使用自助抽样法 构建测试集预测结果 139 25.2.4　方法4：使用不同的随机 种子重新训练模型 140 25.3　练习 141 25.4　参考文献 141 第26章　置信区间与共形预测 142 26.1　置信区间和预测区间 142 26.2　预测区间与共形预测 143 26.3　预测区域、预测区间与预测集合 143 26.4　计算共形预测 143 26.5　共形预测示例 145 26.6　共形预测的优点 146 26.7　建议 146 26.8　练习 146 26.9　参考文献 147 第27章　合适的模型度量 148 27.1　标准 148 27.2　均方误差 149 27.3　交叉熵损失 150 27.4　练习 151 第28章　k折交叉验证中的k 152 28.1　选择k值时的权衡考量 153 28.2　确定适当的k值 154 28.3　练习 154 28.4　参考文献 155 第29章　训练集和测试集的不一致性 156 第30章　有限的有标签数据 158 30.1　利用有限的有标签数据提高模型 性能 158 30.1.1　标注更多数据 158 30.1.2　自助抽样数据 158 30.1.3　迁移学习 159 30.1.4　自监督学习 159 30.1.5　主动学习 160 30.1.6　小样本学习 160 30.1.7　元学习 161 30.1.8　弱监督学习 161 30.1.9　半监督学习 162 30.1.10　自训练 163 30.1.11　多任务学习 163 30.1.12　多模态学习 164 30.1.13　归纳偏置 165 30.2　建议 165 30.3　练习 167 30.4　参考文献 167 后记 168 附录　练习答案 169