深度学习预训练语言模型(案例篇)

本书在全面概述预训练 语言模型演进过程并对 BERTology模型详尽综述的 基础上，将深度学习预训练 模型理论和金融行业实践相 结合，介绍了深度学习预训 练模型在人工智能产业、金 融行业、金融科技领域的实 战项目案例，专注于金融文 本情绪分类典型应用场景， 揭示出特定领域预训练模型 潜在的一般规律。全书共分 7章，分别为：预训练模型 与金融文本情绪分类任务、 预训练语言模型关键技术、 面向中文金融文本情绪分类 的预训练模型对比、 FinWoBERT：中文金融领 域增强预训练模型、GAN- FinWoBERT：对抗训练的 中文金融预训练模型、 FinWoBERT+ConvLSTM： 基于投资者情绪权重的科创 50指数预测、总结与展望， 每章内容随项目实践的深入 层层递进、逐步展开。本书 适合自然语言处理、金融科 技领域的研究人员和技术人 员，高等学校或培训机构教 师和学生以及有意了解相关 领域的学习者和爱好者阅读 。

第1章 预训练模型与金融文本情绪分类任务 1.1 金融文本情绪分类任务的挑战 1.2 发展现状与任务意义 1.2.1 预训练模型发展现状 1.2.2 金融文本情绪分类任务意义 1.3 情绪分类 1.3.1 文本情绪分类 1.3.2 金融文本情绪分类 1.3.3 基于非预训练模型情绪分类的证券市场分析 1.4 预训练语言模型 1.4.1 预训练语言模型的演进 1.4.2 基于BERTology扩展的预训练模型 1.5 基于预训练模型的金融文本情绪分类任务 1.5.1 金融文本情绪分类预训练模型 1.5.2 基于预训练模型情绪分类的证券市场分析 第2章 预训练语言模型关键技术 2.1 预训练方法 2.2 上下文感知的语言表征学习 2.3 高效的特征提取器 2.3.1 神经注意力机制 2.3.2 序列到序列的注意力模型 2.3.3 变换器模型 2.3.4 “X-former”改进模型 2.4 自监督学习 2.5 迁移学习技巧方法 2.6 BERT预训练语言模型 小结 第3章 面向中文金融文本情绪分类的预训练模型对比 3.1 模型对比目的 3.2 项目技术原理 3.3 对比实现方法 3.4 标准流程步骤 3.5 自建（评测）标注语料库 3.6 数据集划分 3.7 描述统计分析 3.7.1 语料库统计量描述 3.7.2 训练集和测试集统计量描述 3.7.3 统计分析 3.8 对比模型 3.9 模型实现 3.10 运行环境 3.11 模型加载 3.12 微调策略 3.12.1 情绪分类任务微调 3.12.2 分类器超参数调试 3.13 数据预处理 3.13.1 数据读取、转换和清洗 3.13.2 分词、填充和其他 3.14 评估指标 3.14.1 混淆矩阵