人工智能注意力机制 体系、模型与算法剖析

《人工智能注意力机制：体系、模型与算法剖析》融合了资深开发工程师多年一线工作经验，从注意力机制这一重要角度入手，阐述注意力机制的产生背景和发展历程，通过详实的理论剖析，以深入浅出的方式着重介绍注意力机制在计算机视觉与自然语言处理两大人工智能方向中的体系、模型与算法，并在最后将注意力机制在其他智能领域的应用加以拓展。内容循序渐进，图文细腻讲解，使读者身临其境，迅速、深入地掌握各种经验和技巧。

“注意”作为一切思维活动的起点，一直是哲学、心理学和认知神经科学的重点研究对象。随着计算机技术的发展，人类对注意力机制的模拟和应用成为计算机科学领域的热点研究方向——让计算机能够具有类似人类的注意力机制，使其能够有效地应用于对数据的理解和分析。Transformer模型诞生后，注意力机制在人工智能各大重要领域的研究和应用更是如火如荼，成果丰硕。 《人工智能注意力机制：体系、模型与算法剖析》从注意力机制这一重要角度入手，阐述注意力机制的产生背景和发展历程，通过详实的理论剖析，以深入浅出的方式着重介绍注意力机制在计算机视觉、自然语言处理，以及多模态机器学习三大人工智能方向中的应用思路、模型与算法。 《人工智能注意力机制：体系、模型与算法剖析》以人工智能相关专业研究人员，特别是计算机视觉与自然语言处理等领域的研发人员作为主要读者对象，一方面帮其梳理技术的发展脉络、开拓思路、构建完整的认知体系；另一方面为其剖析算法原理、深刻理解算法细节。本书提供配套源代码，下载方式见封底。

   第1章 人类注意力与计算机注意力——从认识自我到改造世界

1.1本源思考：哲学中的注意力

1.1.1早期哲学的朴素观点

1.1.2注意力视为一般认知现象

1.1.3注意力作为重要研究对象

1.2心路历程：心理学中的注意力

1.2.1实验心理学中的注意力

1.2.2认知心理学中的注意力

1.3深入脑海：认知神经科学中的注意力

1.3.1认知神经科学的研究基础和方法

1.3.2认知神经科学中的注意力研究

1.4改造世界：计算机科学中的注意力

1.4.1人工智能为什么要讨论注意力？

1.4.2注意力与计算机视觉

1.4.3注意力与自然语言处理

1.4.4注意力机制的多模态应用

参考文献

第2章 计算机视觉中的注意力

2.1注意力模型的分类

2.1.1客观与主观：自下而上的注意力与自上而下的注意力

2.1.2目的与手段：视觉显著性检测与视觉注意力机制

2.1.3掩膜与权重：硬性注意力与柔性注意力

2.1.4特征与位置：特征域注意力与空间域注意力

2.1.5自己与相互：自注意力与互注意力

2.2视觉显著性检测原理与模型剖析

2.2.1注视点预测

2.2.2显著物体检测

2.3注意力机制的计算机视觉应用与模型剖析

2.3.1目标搜索与识别

2.3.2细粒度分类

2.3.3神经网络中的通用注意力模块

参考文献

第3章 自然语言处理中的注意力——“前Transformer”的时代

3.1机器翻译与Seq2Seq模型

3.1.1机器翻译

人工智能注意力机制：体系、模型与算法剖析3.1.2Seq2Seq模型

3.2自然语言处理中注意力机制的起源

3.2.1Seq2Seq模型的问题

3.2.2注意力Seq2Seq模型

3.3经典算法剖析

3.3.1全局注意力与局部注意力机制

3.3.2层级注意力机制

3.3.3自注意力机制

3.4注意力机制的形式化表示

参考文献

第4章 “只要注意力”的Transformer

4.1Transformer的诞生

4.2Transformer的编码器解码器架构

4.2.1编码器结构

4.2.2解码器结构

4.3Transformer的输入与输出

4.3.1词嵌入

4.3.2位置编码

4.3.3Transformer的输出

4.4Transformer的注意力机制

4.4.1缩放点积注意力

4.4.2多头注意力

4.4.3编码器与解码器中的注意力模块

4.5一些其他问题

4.5.1BatchNorm与LayerNorm

4.5.2模型训练的Teacher Forcing模式

4.5.3序列预测的Beam Search方法

参考文献

第5章 自然语言处理中的预训练范式与Transformer的“一统江湖”

5.1语言建模

5.1.1从统计语言模型到神经网络语言模型

5.1.2单向语言模型与双向语言模型

5.1.3自回归语言模型与自编码语言模型

5.2自然语言处理中的预训练范式

5.2.1“预训练+微调”范式

5.2.2“预训练+提示”范式

5.3预训练模型概览

5.4基于Transformer的预训练模型

5.4.1GPT：Transformer的“右手”

5.4.2BERT：Transformer的“左手”

5.4.3TransformerXL与XLNet：从任意长输入到“更好的BERT”

5.4.4RoBERTa与ALBERT：“鲁棒版BERT”与“瘦身版BERT”

5.4.5MASS、BART与UniLM：序列到序列的模型

5.4.6ERNIE“双雄”：借助外部数据的增强模型

5.4.7XLM：跨语种预训练语言模型

5.4.8GPT2.0与GPT3.0：超级模型

参考文献

第6章 计算机视觉中的Transformer

6.1视觉Transformer模型概览

6.2卷积还是注意力？

6.3Transformer的计算机视觉应用与算法剖析

6.3.1图像分类与通用主干网络

6.3.2目标检测

6.3.3图像分割

6.3.4自监督预训练模型

参考文献

第7章 多模态机器学习中的注意力机制

7.1多模态技术发展史

7.2多模态机器学习面临的挑战

7.3视觉语言多模态模型

7.3.1视觉语言任务简介

7.3.2视觉语言模型中的注意力机制

7.4经典多模态模型剖析

7.4.1早期单任务视觉语言模型

7.4.2视觉语言预训练模型

7.4.3提示驱动CV模型

7.4.4新型生成模型

参考文献