人工智能技术丛书-深入探索Mamba模型架构与应用

\\\"Mamba是一种新型的深度学习架构，在保持对序列长度近似线性扩展性的同时，提供了与Transformers相当的建模能力。《深入探索Mamba模型架构与应用》旨在帮助读者探索Mamba在不同领域实现卓越性能的潜力，并深入理解和应用这一新兴的模型架构。本书配套示例源码、PPT课件、配图PDF文件与读者微信交流群服务。 《深入探索Mamba模型架构与应用》共分16章，内容包括Mamba概述、Mamba架构详解、Mamba组件详解、基于PyTorch的弹簧振子动力学Mamba实战、Mamba文本情感分类实战、Mamba的文本转换实战、VisionMamba图像分类实战、多方案的Mamba文本生成实战、让Mamba更强的模块、循环神经网络详解与切片时间序列预测、基于Jamba的天气预测实战、统一了注意力与Mamba架构的Mamba2模型、Mamba结合Diffusion的图像生成实战、知识图谱的构建与展示实战、基于特征词的语音唤醒实战、多模态视觉问答实战。 《深入探索Mamba模型架构与应用》既适合Mamba架构初学者，以及人工智能、深度学习方向的从业人员阅读，也适合作为高等院校或高职高专院校相关专业学生的参考书。\\\"

王晓华，高校计算机专业讲师，研究方向为云计算、大数据与人工智能。其著作包括《深入探索Mamba模型架构与应用》《DeepSeek大模型高性能核心技术与多模态融合开发》《PyTorch深度学习与计算机视觉实践》《PyTorch语音识别实战》《ChatGLM3大模型本地化部署、应用开发与微调》《从零开始大模型开发与微调：基于PyTorch与ChatGLM》《PyTorch 2.0深度学习从零开始学》《Spark 3.0大数据分析与挖掘：基于机器学习》《TensorFlow深度学习应用实践》《OpenCV+TensorFlow深度学习与计算机视觉实战》《TensorFlow语音识别实战》《TensorFlow 2.0卷积神经网络实战》《深度学习的数学原理与实现》。

目 录 第1章 横空出世的Mamba 1 1.1 深度学习的前世今生 1 1.1.1 深度学习的发展历程 2 1.1.2 深度学习与人工智能 3 1.2 深度学习中的主要模型 4 1.2.1 深度学习中的代表性模型和应用 4 1.2.2 CNN、RNN与Transformer 5 1.2.3 剑指王者的Mamba带来了新的突破 7 1.3 本章小结 8 第2章 挑战注意力机制地位的Mamba架构详解 9 2.1 Mamba的优势 10 2.1.1 Transformer模型存在的不足 10 2.1.2 循环神经网络 12 2.1.3 结合Transformer与RNN优点的SSM 14 2.2 环境搭建1：安装Python 15 2.2.1 Miniconda的下载与安装 15 2.2.2 PyCharm的下载与安装 17 2.3 环境搭建2：安装PyTorch 2.0 20 2.3.1 Nvidia 10/20/30/40系列显卡选择的GPU版本 20 2.3.2 PyTorch 2.0 GPU Nvidia运行库的安装 21 2.4 第一次使用Mamba 24 2.4.1 Hello Mamba：使用预训练Mamba模型生成实战 24 2.4.2 了解Mamba：构建Mamba的三大模块说明 25 2.5 本章小结 26 第3章 Mamba组件详解 28 3.1 Mamba组件1：状态空间模型 28 3.1.1 经典状态空间详解 29 3.1.2 什么是状态空间 31 3.1.3 状态空间模型影响模型的学习过程与Python实现 33 3.2 Mamba组件2：连续信号转换成离散信号的方法 38 3.2.1 将连续信号转换成离散信号详解与Python实现 38 3.2.2 离散状态空间的Python实现 41 3.2.3 离散状态空间的循环计算（类似于RNN的计算方法） 44 3.3 Mamba组件3：HiPPO算法初始化的状态转移矩阵 46 3.3.1 SSM中的状态转移矩阵 47 3.3.2 HiPPO算法的Python实现与可视化讲解 49 3.4 本章小结 51 第4章 基于PyTorch的弹簧振子动力学Mamba实战 52 4.1 从状态空间模型SSM到结构化状态空间模型S4 52 4.1.1 从状态空间模型SSM开始（PyTorch具体实现） 53 4.1.2 连续信号转换为离散信号的PyTorch实现 54 4.1.3 离散信号循环计算的PyTorch实现 55 4.1.4 状态空间模型SSM的PyTorch实现 55 4.1.5 HiPPO算法初始化状态矩阵 57 4.1.6 基于S4架构的Mamba模型 58 4.2 基于状态空间模型模拟弹簧振子动力学 59 4.2.1 加速度的求解：详细讲解的经典弹簧-阻尼系统公式 59 4.2.2 弹簧-阻尼微分方程的SSM分解与PyTorch实现 61 4.2.3 使用空间状态方程模拟弹簧-阻尼方程 63 4.2.4 阻尼微分方程参数的物理解释（选学） 64 4.3 基于SSM的模拟弹簧振子输出的神经网络实战 65 4.3.1 数据的准备 66 4.3.2 对数空间中切分步数的准备 67 4.3.3 基于SSM的模型构建 68 4.3.4 SSM模型的训练实战 73 4.3.5 使用HiPPO算法初始化状态转移矩阵 74 4.4 本章小结 78 第5章 Mamba文本情感分类实战 80 5.1 有趣的词嵌入 80 5.1.1 什么是词嵌入 81 5.1.2 PyTorch中词嵌入处理函数详解 82 5.2 基于进阶SSM架构的情感分类Mamba实战 83 5.2.1 数据的准备 84 5.2.2 SSM进阶的S6架构的设计与手把手实现 84 5.2.3 Mamba堆叠Block的设计与完整实现 88 5.2.4 完整Mamba的实现 90 5.2.5 基于Mamba的情感分类实战 94 5.3 本章小结 98 第6章 Mamba文本转换实战 99 6.1 基于Mamba的拼音汉字转换模型 99 6.1.1 拼音汉字数据集详解与实战处理方法 99 6.1.2 Mamba模型的设计详解 101 6.1.3 模型的训练与预测 102 6.2 PyTorch对数据集的封装与可视化训练步骤 105 6.2.1 使用torch.utils.data. Dataset封装自定义数据集 106 6.2.2 批量输出数据的DataLoader类详解 108 6.3 本章小结 111 第7章 含有位置表示的双向VisionMamba模型图像分类实战 112 7.1 使用PyTorch自带的图像管理工具与图像增强技术 112 7.1.1 PyTorch自带的图像管理工具 113 7.1.2 图片数据增强 115 7.2 基于双向VisionMamba的模块讲解 119 7.2.1 数据的准备 119 7.2.2 将图像转换为Mamba可用的Embedding处理方法 120 7.2.3 能够双向计算的VisionMamba模型 123 7.2.4 初始旋转位置编码RoPE 126 7.3 VisionMamba图像分类实战 129 7.3.1 VisionMamba模型的构建 129 7.3.2 VisionMamba图像分类实战 131 7.4 本章小结 132 第8章 多方案的Mamba文本生成实战 133 8.1 Mamba的经典文本生成实战 133 8.1.1 数据的准备与错位输入方法 134 8.1.2 基于经典Mamba的文本生成模型 136 8.1.3 基于Mamba的文本生成模型的训练与推断 138 8.1.4 生成函数中的注意事项：temperature与“模型尺寸” 140 8.2 微调：在原有Mamba模型上进行重新训练 142 8.2.1 什么是微调 142 8.2.2 预训练的Mamba生成模型 144 8.2.3 对预训练模型进行微调 144 8.2.4 使用微调的预训练模型进行预测 146 8.3 低硬件资源微调预训练Mamba模型的方法 147 8.3.1 使用冻结模型参数的微调方法 147 8.3.2 通过替换特定层的方式完成微调 151 8.3.3 对模型参数进行部分保存和载入的方法 153 8.4 本章小结 154 第9章 能够让Mamba更强的模块 155 9.1 What Kan I Do 155 9.1.1 从多层感知机的数学原理开始 156 9.1.2 KAN中的样条函数 157 9.1.3 KAN的数学原理 159 9.1.4 KAN的PyTorch实现 163 9.1.5 结合KAN的Mamba文本生成实战 168 9.2 xLSTM让老架构再现生机 169 9.2.1 LSTM背景介绍 169 9.2.2 LSTM实战演示 170 9.2.3 xLSTM简介 175 9.2.4 xLSTM的PyTorch实现 177 9.2.5 基于xLSTM的文本生成实战 188 9.3 本章小结 192 第10章 循环神经网络详解与切片时间序列预测 193 10.1 基于时间序列的温度预测实战 193 10.1.1 时间序列一维数据的准备与切片 194 10.1.2 基于GRU的时间序列模型设计 197 10.1.3 时间序列模型的训练与预测 198 10.1.4 时间序列常用的损失函数详解 200 10.2 循环神经网络理论讲解 201 10.2.1 什么是GRU 201 10.2.2 单向不行，那就双向 203 10.3 融合Mamba与KAN架构的时间序列预测模型实战 204 10.3.1 适配2D时间序列的MambaBlock模型设计 204 10.3.2 Mamba架构的时间序列模型训练与预测 206 10.4 本章小结 206 第11章 明天下雨吗：基于Jamba的天气预测实战 207 11.1 注意力机制与模型详解 208 11.1.1 注意力机制详解 208 11.1.2 自注意力机制 210 11.1.3 ticks和Layer Normalization 216 11.1.4 多头自注意力 217 11.2 注意力机制的应用实践：编码器Encoder 220 11.2.1 编码器的总体架构 220 11.2.2 回到输入层：初始词向量层和位置编码器层 221 11.2.3 前馈层的实现 224 11.2.4 将多层模块融合的TransformerBlock层 226 11.2.5 编码器的实现 227 11.3 给注意力添加相对位置编码RoPE 233 11.3.1 给注意力添加相对位置编码RoPE 233 11.3.2 添加旋转位置编码的注意力机制 235 11.3.3 基于现有库包的旋转位置编码RoPE的使用 236 11.4 明天下雨吗：基于Jamba的天气预测实战 237 11.4.1 Jamba模型的基本架构 237 11.4.2 Jamba架构的实现1：修正后的Transformer模块 238 11.4.3 Jamba架构的实现2：Mamba模块 242 11.4.4 Jamba架构的实现3：Jamba模型的实现 245 11.4.5 基于Jamba的天气预测实战 246 11.4.6 基于时间序列的天气预报任务 253 11.5 本章小结 254 第12章 统一了注意力与Mamba架构的Mamba2模型 255 12.1 Mamba2模型的实现 256 12.1.1 Mamba2核心组件SSD详解 256 12.1.2 基于SSD的Mamba2模型 259 12.2 基于Mamba2的文本生成实战 263 12.2.1 文本生成Mamba2模型的完整实现 263 12.2.2 基于Mamba2的文本生成 264 12.3 本章小结 265 第13章 Mamba结合Diffusion的图像生成实战 266 13.1 Diffusion原理精讲以及经典实现 267 13.1.1 Diffusion Model的传播流程 267 13.1.2 直接运行的经典DDPM的模型训练实战 269 13.1.3 DDPM模型的基本模块说明 272 13.1.4 DDPM加噪与去噪详解：结合成功运行的Diffusion Model代码 275 13.1.5 DDPM的损失函数：结合成功运行的Diffusion Model代码 281 13.2 基于注意力的可控Diffusion实现 281 13.2.1 Diffusion Model可控生成的基础：特征融合 282 13.2.2 DiT中的可控特征融合 282 13.2.3 DiT模型的设计 285 13.2.4 图像的加噪与模型训练 289 13.2.5 基于DiT模型的可控图像生成 293 13.3 基于Mamba的可控Diffusion实现 295 13.3.1 基于Mamba架构的模块生成 296 13.3.2 基于Mamba的Dim模型的设计 299 13.4 本章小结 303 第14章 Mamba实战1：知识图谱的构建与展示 305 14.1 什么是知识图谱 305 14.1.1 知识图谱的应用 306 14.1.2 知识图谱中的三元组 307 14.2 知识图谱的可视化展示 308 14.2.1 数据的准备与处理 308 14.2.2 知识图谱的可视化展示 309 14.3 分词与数据的编码与解码 312 14.3.1 分词器Tokenizer的构建与使用 312 14.3.2 数据的编码处理 315 14.3.3 数据的解码处理 319 14.4 基于Mamba的知识图谱模型构建 321 14.4.1 基于Mamba的知识图谱模型构建 321 14.4.2 基于Mamba的知识图谱模型训练与预测 322 14.4.3 命名实体识别在预测时的补充说明 325 14.5 本章小结 326 第15章 Mamba实战2：基于特征词的语音唤醒 327 15.1 音频特征工具Librosa包的基础使用 327 15.1.1 基于Librosa的音频信号读取 328 15.1.2 基于Librosa的音频多特征提取 331 15.2 Mamba实战：基于特征词的语音唤醒 333 15.2.1 数据的准备 333 15.2.2 数据的处理 334 15.2.3 模型的设计 337 15.2.4 模型的数据输入方法 338 15.2.5 模型训练 338 15.2.6 模型结果展示 340 15.3 本章小结 340 第16章 Mamba实战3：多模态视觉问答 341 16.1 视觉问答数据集的准备 341 16.1.1 VQA数据集介绍 342 16.1.2 VQA数据集的下载与预处理 342 16.1.3 VQA数据集的准备 346 16.2 Mamba架构的多模态视觉问答模型的训练与推断 348 16.2.1 Mamba架构的多模态视觉问答模型的设计 348 16.2.2 多模态视觉问答模型的训练与推断 351 16.3 本章小结 353