大数据审计（基于Python）

本书从基本的概念开始, 逐步介绍清洗表格数据、采集网络信息、手写票据的光学字符识别、财经文本的量化、知识图谱自动构建等热门知识要点, 并通过实例给出算法原理与实现路径, 同时介绍了代码生成的过程和结果。

第1章 审计基础与审计报告的构成 1 1.1 审计概述 1 1.1.1 审计概念 1 1.1.2 审计目的 1 1.1.3 审计风险 2 1.1.4 审计证据 2 1.2 会计概述 2 1.2.1 会计的概念及基本假设 3 1.2.2 会计信息质量要求 4 1.2.3 财务会计报告简述 4 1.2.4 会计科目简述 5 1.3 审计报告的构成 8 1.3.1 审计意见 8 1.3.2 形成审计意见的基础 9 1.3.3 关键审计事项 10 1.3.4 其他信息 10 1.3.5 管理层和治理层对财务报表的责任 11 1.3.6 注册会计师对财务报表审计的责任 11 1.4 智能审计国内外研究现状 12 1.4.1 国外研究现状 12 1.4.2 国内研究现状 12 1.5 如何构建人工智能审计规则 13 1.5.1 基于法律法规构建规则库 14 1.5.2 基于专家经验构建规则库 14 参考文献 15 第2章 Python语法基础 17 2.1 Python开发环境安装 17 2.1.1 Anaconda的安装 17 2.1.2 PyCharm的安装配置 17 2.2 数据类型 19 2.2.1 数字 19 2.2.2 字符串 19 2.2.3 列表与元组 20 2.2.4 字典与集合 22 2.3 语句语法 24 2.3.1 变量、行、缩进与注释 24 2.3.2 运算符 25 2.3.3 布尔值和空值 26 2.3.4 if条件语句 27 2.3.5 for循环语句 27 2.3.6 while循环语句 28 2.3.7 break与continue 29 2.4 函数与库 29 2.4.1 函数的定义与调用 29 2.4.2 函数的返回值与作用域 30 2.4.3 常用基本函数介绍 31 2.4.4 库 32 2.5 文件的读与写 33 2.5.1 input()函数与print()函数 33 2.5.2 文件的写操作 34 2.5.3 文件的读操作 35 2.6 类 36 2.6.1 类和对象的基本概念 36 2.6.2 面向对象的特征 36 2.6.3 type和isinstance 37 2.7 读写数据库MySQL 38 2.7.1 MySQL的安装配置 38 2.7.2 Python与MySQL的交互 39 参考文献 41 第3章 Python科学计算与表格处理 42 3.1 Python科学计算 42 3.1.1 Pandas库 42 3.1.2 NumPy库 44 3.1.3 Pipeline 44 3.2 表格处理 45 3.2.1 读取表格文件 45 3.2.2 表格数据的合并与拼接 51 3.2.3 输出到表格文件 53 第4章 数据预处理：清洗表格数据 55 4.1 数据背景 55 4.2 数据清洗 55 4.2.1 内容替换 55 4.2.2 数据类型转换 58 4.2.3 删除无效数据 61 4.2.4 数据创造 64 4.2.5 DataFrame转换 68 第5章 数据预处理：采集网络信息 70 5.1 爬虫基础知识 70 5.1.1 网页源代码 70 5.1.2 正则表达式 72 5.2 爬虫基础方式 74 5.2.1 提取搜狗资讯标题、网址、日期和来源 74 5.2.2 获取百度翻译结果 75 5.2.3 Selenium库详解 77 5.2.4 BeautifulSoup库详解 80 5.3 爬虫处理方法 88 5.3.1 处理数据乱码 88 5.3.2 数据清洗与筛选 88 5.3.3 生成数据文本文件 91 5.3.4 批量爬取多家公司多页资讯 91 5.3.5 基础爬虫实践 92 5.3.6 Python与MySQL的交互实践 93 参考文献 95 第6章 数据预处理：解析财经报告 96 6.1 批量下载PDF文件至指定位置 96 6.2 解析单个PDF文件信息 98 6.2.1 解析PDF文件的文本内容 98 6.2.2 解析PDF文件的表格内容 99 6.3 批量提取PDF文件信息 100 6.3.1 批量输出PDF文件的文本内容 100 6.3.2 筛选并转移PDF文件 101 参考文献 103 第7章 数据预处理：手写票据的光学字符识别 104 7.1 问题场景 104 7.2 表格和单元格定位 108 7.2.1 解析PDF文件 108 7.2.2 表格定位 110 7.2.3 表格自动旋转 112 7.2.4 单元格定位 115 7.3 单元格配准 117 7.3.1 DBSCAN聚类 118 7.3.2 描述性统计 120 7.3.3 模板可视化 121 7.4 单元格内容识别 122 7.4.1 图片预处理 123 7.4.2 LSTM-RNN-CTC模型 124 第8章 自然语言处理：财经文本的量化 127 8.1 自然语言处理 127 8.1.1 自然语言处理概述 127 8.1.2 机器学习 127 8.1.3 语料库 128 8.1.4 HanLP环境搭建 128 8.2 中文分词 129 8.2.1 中文分词 129 8.2.2 词典分词 130 8.2.3 二元语法分词 131 8.2.4 词典的构建 132 8.3 命名实体识别 135 8.3.1 命名实体识别 135 8.3.2 基于规则的命名实体识别 135 8.3.3 基于预训练模型的实体关系抽取 136 8.3.4 基于依存句法分析的实体关系抽取 136 8.3.5 财经文本命名实体识别 137 8.4 信息提取 138 8.4.1 关键词提取 138 8.4.2 关键句提取 139 8.4.3 情感分析 140 8.5 综合训练 141 参考文献 142 第9章 自然语言处理：金融文本摘要 143 9.1 文本摘要自动生成概述 143 9.1.1 研究背景与问题定义 143 9.1.2 技术分类与实现方法 143 9.1.3 评价指标与数据集 144 9.2 偏好构建模块 145 9.2.1 获取偏好文本 145 9.2.2 文本预处理 145 9.2.3 LDA主题模型 147 9.2.4 构建偏好语料库 148 9.3 锁定段落中心句 149 9.3.1 获取偏好文本关键词 149 9.3.2 相似度计算 150 9.3.3 提取携带偏好的段落中心句 151 9.4 摘要生成模块 154 9.4.1 依存句法分析 154 9.4.2 结构树剪枝 157 参考文献 159 第10章 自然语言处理：抽取实体关系 161 10.1 知识抽取任务概述 161 10.1.1 知识抽取任务定义 161 10.1.2 知识抽取任务分类 162 10.1.3 审计领域知识抽取任务 162 10.2 面向结构化数据的知识抽取 163 10.3 面向非结构化数据的知识抽取 164 10.3.1 深度学习与神经网络 164 10.3.2 基于BERT模型的实体抽取方法 165 10.3.3 关系抽取方法 179 10.3.4 实体消歧 186 10.3.5 实体关系抽取结果保存 186 参考文献 189 第11章 审计知识图谱自动构建 190 11.1 知识图谱 190 11.1.1 Neo4j介绍 191 11.1.2 Neo4j安装教程 192 11.1.3 Neo4j启动与服务器连接 194 11.2 Python操作Neo4j 196 11.2.1 安装py2neo包 196 11.2.2 py2neo的基本用法 197 11.2.3 简单图数据库编程实践分析 203 11.3 审计知识图谱的实现 205 11.3.1 案例分析1――读取MySQL内容创建知识图谱 206 11.3.2 案例分析2――读取Excel文件数据创建审计知识图谱 209 11.3.3 案例分析3-读取结构化财经文本创建审计知识图谱 214 11.3.4 案例分析4-多表信息创建知识图谱 219 11.3.5 案例分析5-根据原始文本自动生成知识图谱 231 参考文献 233 第12章 审计应用：审计规则知识库 234 12.1 用一阶谓词逻辑表示法表示知识 234 12.1.1 谓词逻辑概述及其特点 234 12.1.2 谓词、个体和量词 235 12.1.3 联结词 236 12.1.4 谓词公式定义及一阶谓词逻辑表示法的特点 236 12.1.5 谓词公式表示知识的步骤及方法 236 12.2 审计规则知识库的设计 237 12.2.1 审计规则表 238 12.2.2 新审计规则表 238 12.2.3 谓词逻辑表 238 12.3 程序示例 239 12.3.1 程序整体流程 239 12.3.2 制定规则的谓词逻辑表达式 239 12.3.3 设计数据表 240 12.3.4 连接数据库 241 12.3.5 更新替换数据表 242 12.3.6 查询数据库中的数据表 243 12.3.7 判断数据表中的数据是否为正确规则 243 12.3.8 更新、清洗、合并数据表中的审计规则 245 12.3.9 完整代码 246 参考文献 252 第13章 实践：综合风险审计 253 13.1 审计语义网络构建 253 13.1.1 审计实体定义 253 13.1.2 审计关系定义 254 13.2 传统审计中的逻辑推理 256 13.3 审计推理机 256 13.4 审计风险路径探索实战 259 参考文献 268 第14章 实践：审计报告自动生成 270 14.1 python-docx的基础知识 270 14.1.1 python-docx的下载与使用 270 14.1.2 python-docx的基础操作 270 14.2 审计报告中字体的设置 273 14.2.1 设置中文字体 273 14.2.2 设置字号与字体颜色 274 14.2.3 段落中新增文字 274 14.3 审计报告中段落的修改 275 14.3.1 对齐方式 275 14.3.2 缩进方式 275 14.3.3 行距与段落间距 275 14.3.4 编号与项目符号 276 14.4 自动生成审计报告的实战演练 276 参考文献 279