Elasticsearch权威指南

"Elasticsearch是大数据领域推荐的数据处理引擎，高可用、易扩展、高并发，集存储、分析、查询于一体。掌握Elasticsearch将助您成为大数据领域专家。 本书由大数据业界专家编写，经华为、中兴高级技术专家审读并撰序。 以实战为主线，由浅入深地剖析Elasticsearch技术原理与实现，优选限度地展现作者多年的大数据实战经验和心得。 先介绍Elasticsearch在具体工程中的部署和应用，然后逐步解析Elasticsearch的核心原理，最后再回到工程实战，深入浅出，通俗易懂。 本书一定会帮助您从Elasticsearch的小白成为大牛。 "

Elasticsearch是目前最流行的大数据存储、搜索和分析引擎。本书基于Elasticsearch7编写，共14章，前12章全面介绍Elasticsearch的安装部署、开发应用、性能调优、集群监控、设计原理、SQL接口等核心内容。第13章介绍可视化平台Kibana。Kibana是ElasticStack的重要成员之一，可以与Elastirsearch完美结合，实现数据的可视化。第14章介绍一个实战案例，让读者了解如何应用Elasticsearch架构进行系统设计。
本书非常适合想全面学习和应用Elasticsearch的读者。如果读者对Elasticsearch有一定的了解，本书将会是一本优秀的进阶书和参考工具书。

第1章快速入门1
1.1基本概念1
1.2安装部署4
1.3开始使用集群6
1.3.1集群健康信息6
1.3.2列出集群中的索引信息7
1.3.3创建一个索引8
1.3.4索引和查询文档8
1.3.5删除索引9
1.4修改数据10
1.4.1索引和覆盖文档10
1.4.2更新文档11
1.4.3删除文档12
1.4.4批量操作12
1.5探索数据12
1.5.1加载数据集13
1.5.2搜索API13
1.5.3Elasticsearch查询语言15
1.5.4搜索文档17
1.5.5条件过滤21
1.5.6聚合查询22
第2章安装部署27
2.1安装JDK27
2.2安装Elasticsearch28
2.2.1调整Linux系统的相关参数
设置 28
2.2.2创建用户28
2.2.3下载Elasticsearch29
2.3配置Elasticsearch29目录Elasticsearch权威指南
2.3.1配置文件的位置30
2.3.2配置文件的格式30
2.3.3环境变量替换30
2.3.4设置JVM参数31
2.3.5安全设置31
2.3.6创建密钥库32
2.3.7列出密钥库中的设置项32
2.3.8添加字符串设置33
2.3.9添加文件设置33
2.3.10删除设置属性33
2.3.11可重载的安全设置33
2.3.12日志配置33
2.3.13配置日志级别35
2.3.14JSON日志格式37
2.4跨集群复制设置(用于多个集群间的数据恢复)37
2.4.1远程恢复设置37
2.4.2高级远程恢复设置37
2.4.3索引生命周期管理设置38
2.4.4序列号设置38
2.4.5监控功能设置38
2.4.6一般的监控设置38
2.4.7监控收集设置39
2.4.8本地导出器设置40
2.4.9HTTP导出器设置40
2.4.10XPack监控TLS/SSL相关设置42
2.4.11XPack监控TLS/SSL密钥和可信证书设置42
2.4.12PEM编码文件42
2.5重要的Elasticsearch配置43
2.5.1数据和日志存放目录43
2.5.2集群名称43
2.5.3节点名称44
2.5.4网络设置44
2.5.5重要节点发现和集群初始化设置44
2.5.6Heap设置45
2.5.7JVM heap dump目录设置46
2.5.8GC日志设置46
2.5.9临时文件存储目录46
2.5.10JVM致命错误日志设置47
2.6重要的系统参数设置47
2.6.1配置系统设置47
2.6.2禁用交换区48
2.6.3文件描述符49
2.6.4虚拟内存49
2.6.5线程数量50
2.6.6DNS缓存设置50
2.6.7JNA临时目录挂载位置50
2.7启动检查50
2.7.1Heap大小检查51
2.7.2文件描述符检查51
2.7.3内存锁定检查51
2.7.4线程数核查52
2.7.5优选文件大小检查52
2.7.6优选虚拟内存检查52
2.7.7优选mmap映射区域数量检查53
2.7.8JVM模式检查53
2.7.9JVM垃圾收集机制检查53
2.7.10系统调用过滤器检查53
2.7.11发现功能配置检查54
2.8启动和停止Elasticsearch54
2.9集群水平扩展54
第3章API规范56
3.1多索引56
3.2日期数学格式56
3.3通用选项58
3.3.1格式化搜索结果58
3.3.2可读输出58
3.3.3格式化日期值58
3.3.4返回信息过滤59
3.3.5展开设置63
3.3.6布尔值64
3.3.7数字值64
3.3.8时间单位64
3.3.9数据单位65
3.3.10缩略处理65
3.3.11距离单位65
3.3.12模糊性66
3.3.13启用堆栈跟踪66
3.3.14查询字符串中的请求正文67
3.3.15ContentType要求67
3.4基于URL的访问控制67
第4章操作文档69
4.1读写文档69
4.1.1基本写模型70
4.1.2写流程错误处理70
4.1.3基本读模型71
4.1.4读流程错误处理71
4.1.5一些简单的知识点72
4.2索引API72
4.2.1自动创建索引73
4.2.2ID自动生成74
4.2.3路由75
4.2.4分发75
4.2.5等待活动分片75
4.2.6detect_noop参数76
4.3GET API76
4.3.1实时性77
4.3.2字段选择77
4.3.3存储字段77
4.3.4直接获取_source 78
4.3.5路由78
4.3.6preference参数79
4.3.7refresh参数79
4.3.8分发79
4.3.9版本支持79
4.4删除API79
4.5查询删除80
4.5.1URL参数82
4.5.2返回体82
4.5.3任务API83
4.5.4取消任务API84
4.5.5动态调整API85
4.5.6切片85
4.6更新API87
4.6.1使用script更新88
4.6.2部分字段更新89
4.6.3避免无效更新89
4.6.4upsert元素90
4.6.5scripted_upsert参数91
4.6.6doc_as_upsert 参数92
4.7查询更新92
4.7.1URL参数95
4.7.2请求体95
4.7.3任务API96
4.7.4取消任务API96
4.7.5动态调整API96
4.7.6切片96
4.7.7获取新属性96
4.8MGet API98
4.8.1_source 过滤99
4.8.2存储字段100
4.8.3路由100
4.8.4重新索引101
4.9跨集群索引106
4.10批量操作API107
4.10.1路由110
4.10.2更新110
4.11Term向量111
4.11.1返回值111
4.11.2Term过滤112
4.11.3行为分析114
4.11.4获取多个文档的Term向量118
4.12refresh参数119
4.12.1如何选择refresh 的值120
4.12.2强制刷新120
4.13乐观并发控制121
第5章搜索数据123
5.1基本概念和机制123
5.2搜索API125
5.3URI模式125
5.4Body模式126
5.4.1Explain 参数128
5.4.2折叠结果131
5.4.3对结果分页133
5.4.4高亮结果133
5.4.5索引加权146
5.4.6命中文档嵌套146
5.4.7分数值过滤154
5.4.8查询命名154
5.4.9post_filter过滤155
5.4.10分片选择157
5.4.11重排序158
5.4.12脚本字段160
5.4.13滚动查询161
5.4.14search_after参数164
5.4.15搜索类型166
5.4.16排序166
5.4.17_source 字段过滤173
5.4.18存储字段174
5.4.19total返回值详解175
5.4.20版本176
5.5返回搜索分片信息177
5.6Count API177
5.7Validate API178
5.8调试搜索请求179
第6章聚合180
6.1度量值聚合180
6.1.1均值聚合181
6.1.2带权重的均值聚合183
6.1.3计数聚合185
6.1.4统计聚合187
6.1.5地理范围聚合188
6.1.6地理距离质心聚合189
6.1.7优选值聚合、最小值聚合、和值聚合192
6.1.8百分位数聚合192
6.1.9百分比排名聚合197
6.1.10脚本聚合198
6.1.11顶部命中聚合200
6.1.12单值度量聚合205
6.1.13中位数绝对偏差聚合206
6.2存储桶聚合207
6.2.1邻接矩阵聚合207
6.2.2区间聚合209
6.2.3日期区间聚合214
6.2.4IP区间聚合217
6.2.5Term聚合221
6.2.6直方图聚合227
6.2.7过滤器聚合231
6.2.8多过滤器聚合232
第7章查看API235
7.1查看子目录235
7.2应用实例及参数236
7.2.1v参数236
7.2.2help参数236
7.2.3h参数236
7.2.4常用接口汇总236
第8章集群 API238
8.1节点过滤238
8.2节点类型239
8.3常用API241
8.3.1查看集群及节点信息241
8.3.2动态更新集群设置242
8.3.3重置路由242
第9章索引 API244
9.1创建索引API244
9.1.1索引设置244
9.1.2映射245
9.1.3别名245
9.2删除索引246
9.3判断索引是否存在246
9.4打开关闭索引246
9.5收缩索引246
9.6映射247
9.6.1数据类型248
9.6.2映射属性设置253
第10章特定域查询语言(DSL)258
10.1查询和过滤上下文258
10.1.1查询上下文258
10.1.2过滤上下文258
10.2匹配所有文档259
10.3全文检索260
10.3.1匹配查询260
10.3.2模糊匹配260
10.3.3短语匹配查询261
10.3.4查询字符串261
第11章SQL接口265
11.1功能体验265
11.2术语和约定266
11.3SQL REST API267
11.3.1返回数据格式267
11.3.2过滤结果269
11.3.3支持的参数270
11.4SQL Translate API270
11.5SQL语法介绍271
11.5.1词法结构271
11.5.2SQL命令275
第12章Elasticsearch原理剖析283
12.1为什么需要搜索引擎283
12.2搜索引擎雏形283
12.3搜索引擎实现原理283
12.3.1分析284
12.3.2Lucene倒排索引284
12.3.3搜索过程284
12.3.4结果排序286
12.4分布式原理287
12.4.1分布式索引过程288
12.4.2分布式检索过程288
12.4.3分布式局部更新文档288
12.5节点发现和集群形成机制289
12.5.1集群形成过程289
12.5.2重要配置291
第13章Kibana入门介绍292
13.1安装Kibana292
13.1.1下载Kibana292
13.1.2简单配置Kibana292
13.1.3启动Kibana293
13.2基础操作293
13.2.1加载样例数据集293
13.2.2探索航班数据集294
13.2.3过滤数据295
13.2.4查询数据295
13.2.5探索数据296
13.2.6编辑可视化组件297
13.3构建Dashboard298
13.3.1导入样例数据298
13.3.2定义索引模式300
13.3.3可视化组件介绍302
13.3.4构建Dashboard302
第14章构建集约化日志管理平台305
14.1Elastic stack介绍305
14.2日志的特征305
14.2.1日志的重要性305
14.2.2日志的特征306
14.2.3日志的复杂性306
14.3集约化解决方案306
附录A参考资料及网址309
附录B中文分词算法介绍310
附录CHead安装312

     ElasticsearchRESTAPI使用HTTP协议,采用JOSN 格式。 3.1 多索引 大多数API都支持跨多个索引执行,可以使用简单的test1、test2、test3表示法(或对所 有索引执行,用_all)。它还支持通配符,例如test*或*test或te*t或*test*,以及“排 除”(-)功能,例如-test3。 所有多索引API都支持以下URL查询字符串参数: .ignore_unavailable 控制是否忽略不可用索引,包括不存在的索引或已关闭的索引。可以设置为true或 false。 .allow_no_indices 当通配符索引表达式结果为空时,allow_no_indices控制请求是否失败。可以指定true 或false。例如,指定了通配符表达式foo*却没有以foo开头的索引可用,如果此设置为 true,请求将失败。当未指定_all、*或无索引时,此设置也适用。此设置也适用于别名,以 防别名指向关闭的索引。 .expand_wildcards 控制通配符索引表达式可以扩展到哪种具体索引。如果指定了open,则通配符表达式 将扩展为仅打开索引。如果指定了closed,则通配符表达式仅扩展为closed索引。也可以 指定这两个值(open,closed)以扩展到所有索引。 3.2 日期数学格式 索引名称支持日期解析,这样能够搜索一个时间范围内或某几段时间内的索引,而不是 搜索所有索引再筛选结果或维护别名。搜索的索引数量可以减少集群上的负载并提高 执行性能。例如,如果在日常日志中搜索错误信息,可以使用日期格式名称模板将搜索严格 在过去两天内。 几乎所有具有index参数的API都支持index参数值中包含日期数学格式。日期数学 索引名称具有以下形式: 第3章 API规范 57 static_name是索引名称的静态文本部分。 date_math_expr是动态日期数学表达式,用于动态计算日期。 date_format用来设置日期的可选格式。默认为yyyy.MM.dd格式,且应该与Java时 间兼容。请参考如下网站的资料:https://docs.oracle.com/javase/8/docs/api/java/time/ format/DateTimeFormatter.html。 time_zone用来设置时区。默认为UTC。 日期数学表达式解析是独立于区域设置的。因此,除了公历外,不可使用任何其他形式 的日历。 必须将日期数学格式索引名称表达式括在尖括号内,并且所有特殊字符都应进行URI 编码。例如: #GET //_search GET /%3Clogstash-%7Bnow%2Fd%7D%3E/_search { "query" : { "match": { "test": "data" } } } 日期数学字符的百分比编码如表3-1所示。 表3-1 日期数学字符百分比编码 字 符URI编码 < %3C > %3E / %2F { %7B } %7D 字 符URI编码 | %7C + %2B : %3A , %2C 表3-2显示了日期数学索引名称的不同形式和解析后的最终索引名称,是在当前时间 为2024年3月22日中午,时区为UTC的情况下解析的。 表3-2 日期数学格式解析实例 日期数字索引模式解析结果 logstash-2024.03.22 logstash-2024.03.01 logstash-2024.03 logstash-2024.02 logstash-2024.03.23 Elasticsearch权58 威指南centimeters Fet ft或fet Milimeter mm或milimeters Inch in或inch Nauticalmile NM、nmi或nauticalmiles Kilometer km或kilometers Elasticsearch权66 威指南 3.3.12 模糊性 一些查询和API支持使用模糊参数(fuzziness)进行不准确的模糊匹配。 在查询text或keyword字段时,fuzziness被解释为编辑距离,也就是一个字符串需要 更改的字符数,以使其与另一个字符串相同。 fuzziness参数可以指定为如下两种值。 ①0,1,2:允许的优选编辑距离(或编辑次数)。 ② AUTO:根据Term 的长度生成编辑距离。可以选择自动提供低距离和高距离参 数:AUTO:[low],[high]。如果未指定,默认值为3和6,相当于AUTO:3,6,表示长度 如下所示。 .0..2必须准确匹配。 .3..5编辑距离1。 . >5编辑距离2。 . AUTO 一般应为fuzziness的优选值。 3.3.13 启用堆栈跟踪 默认情况下,当请求返回错误时,Elasticsearch不包括错误的堆栈跟踪。可以通过将 error_trace参数设置为true来启用堆栈跟踪。例如,默认情况下,将无效的size参数发送 到_searchAPI时: POST /bank/_search?size=surprise_me 响应如下: { "error": { "root_cause": [ { "type": "illegal_argument_exception", "reason": "Failed to parse int parameter [s