Transformer原理解析及中文项目实践(微课视频版)/跟我一起学人工智能

本书深入浅出地介绍深度学习中的序列模型及其发展历程，重点讲解Transformer架构及其变体的原理与实践应用。全书共5章，旨在帮助读者从理论基础到实践应用，全面掌握Transformer技术。 第1章详细介绍RNN和LSTM的原理、代码实践及存在的问题与挑战。第2章全面剖析Transformer的核心思想、总体架构及各组成部分的实现方法。第3章从自定义代码出发，详细地讲解词嵌入、多头注意力层、前馈网络层、编码器层和解码器层的构建方法，以及如何训练Transformer模型。第4章介绍Transformer变体与进阶部分。第5章介绍利用HuggingFace实践Transformer，首先介绍HuggingFace社区和Transformers库，然后通过实际应用案例，如文本分类、情感分类、命名实体识别等，展示了如何使用Transformers库进行项目开发，最后讲解模型微调的各种方法，以及Transformer的影响和未来展望。 本书适合对深度学习、序列模型和Transformer感兴趣的读者，无论是初学者还是有一定基础的开发者都能从中获得丰富的理论知识和实践经验。同时，本书也可作为高等院校和培训机构相关专业的教学参考书。

沈志龙,统计学硕士、AI算法专家，拥有数学和统计学背景，对自然语言处理、机器学习、深度学习等领域具有深厚的理论知识和实践经验。在数据分析和挖掘领域耕耘多年，对数据分析、机器学习、深度学习和知识图谱等方向有深入的研究和探索。在文本分类、命名实体识别、文本生成等自然语言处理任务上具有丰富的实战经验，对于Transformer技术应该具备的核心专业能力有深入的理解和掌握。

第1章 引言 1.1 深度学习与序列模型的进化 1.1.1 RNN原理 1.1.2 RNN代码实践 1.1.3 RNN的问题与挑战 1.1.4 LSTM原理 1.1.5 LSTM代码实践 1.1.6 LSTM的问题与挑战 1.2 Transformer的诞生背景 1.2.1 Seq2Seq模型 1.2.2 Seq2Seq代码实践 1.2.3 注意力机制的崛起 1.2.4 注意力机制代码解读 1.2.5 论文“Attention is All You Need”简介第2章 Transformer架构解析 2.1 Transformer总览 2.1.1 Transformer的核心思想 2.1.2 Transformer的总体架构 2.2 Transformer的实现 2.2.1 自注意力机制的原理和实现 2.2.2 多头注意力的原理和实现 2.2.3 位置编码的作用和实现 2.2.4 前馈网络层 2.2.5 残差连接和层归一化 2.2.6 解码器的结构和功能第3章 训练Transformer 3.1 自定义Transformer代码 3.1.1 词嵌入和位置编码 3.1.2 多头注意力层 3.1.3 前馈网络层 3.1.4 编码器层和解码器层 3.1.5 构建Transformer模型 3.1.6 训练Transformer模型 3.2 实践训练 3.2.1 数据准备 3.2.2 模型定义及训练 3.2.3 模型预测第4章 Transformer变体与进阶 4.1 BERT 4.1.1 BERT架构与原理 4.1.2 BERT训练过程解析 4.2 GPT系列 4.2.1 从GPT到GPT-4o 4.2.2 GPT训练过程解析 4.3 其他变体 4.3.1 ALBERT 4.3.2 RoBERTa 4.3.3 T5 4.3.4 知识蒸馏原理及实践第5章 利用Hugging Face实践Transformer