李玉志的博客

文章目录配置ElasticSearch安全配置配置ElasticSearch安全配置有些设置是敏感的，仅依靠文件系统权限来保护它们的值是不够的。对于这个用例，Elasticsearch提供了一个密钥库和elasticsearch-keystore tool来管理密钥库中的设置。只有一些设置被设计为从密钥库读取，但是，密钥库不会阻止不支持的设置。将不支持的设置添加到密钥库会导致Elasticsearch无法启动。要查看密钥库中是否支持设置，请在设置引用中查找“安全”限定符。所有对 keystore

文章目录配置ElasticSearch重要的ElasticSearch配置路径设置集群名字设置节点设置网络设置发现和集群形成设置discovery.seed_hostscluster.initial_master_nodes堆大小设置JVM堆转储路径设置GC 日志设置临时目录设置JVM 致命错误日志设置集群备份配置ElasticSearch重要的ElasticSearch配置Elasticsearch 只需很少的配置即可开始使用，但在生产中使用集群之前必须考虑许多事项：路径设置集群名称设置节点

文章目录配置ElasticSearch集群级分片分配和路由设置集群级分片分配设置分片重新平衡设置分片平衡启发式设置基于磁盘的分片分配设置配置ElasticSearch集群级分片分配和路由设置分片分配是将分片分配给节点的过程。这可能发生在初始恢复、副本分配、重新平衡或添加或删除节点时。master 的主要作用之一是决定将哪些分片分配给哪些节点，以及何时在节点之间移动分片以重新平衡集群。有许多设置可用于控制分片分配过程：Cluster-level shard allocation settings

文章目录配置ElasticSearch发现和集群形成设置字段数据缓存设置缓存大小监控字段数据配置ElasticSearch发现和集群形成设置发现和集群形成受以下设置影响discovery.seed_hosts：提供集群中符合主节点条件的节点列表。也可以是以逗号分隔的单个字符串。每个节点都是host:port或者host格式。host是由DNS解析出来的任意主机名称。IPV6必须用方括号括起来。如果一个主机名通过DNS解析出来多个地址，ElasticSearch会使用所有被解析出来的地址。d

文章目录全集群重启和滚动重启全集群重启滚动重启全集群重启和滚动重启可能存在您想要执行全集群重启或滚动重启的情况。在全集群重启的情况下，您关闭并重启集群中的所有节点，而在滚动重启的情况下，您一次只关闭一个节点，因此服务不会中断。全集群重启关闭分片分配当您关闭一个数据节点时，分配进程会等待index.unassigned.node_left.delayed_timeout(默认为1分钟)，然后开始将该节点上的分片复制到集群中的其他节点，这可能涉及大量的I/O。由于节点将很快重启，所以这个I/O是不

文章目录在集群中添加和删除节点符合主节点的节点添加符合主节点的节点移除符合主节点的节点在集群中添加和删除节点当您启动Elasticsearch实例时，您正在启动一个节点。Elasticsearch集群是一组具有相同cluster.name属性的节点。当节点加入或离开集群时，集群会自动重新组织自己，以便在可用节点之间均匀地分布数据。如果您正在运行单个Elasticsearch实例，则您拥有一个节点集群。所有主分片驻留在单个节点上。不能分配复制分片，因此集群状态保持为黄色。集群功能完整，但在发生故障时存在

文章目录发现和集群形成发现种子节点提供者基于配置的种子主机提供者基于文件的种子主机提供者基于法定人数的选举主节点的选举投票配置偶数个符合主节点的节点设置初始投票配置引导一个集群选择集群名称发布集群状态集群故障检测发现和集群形成发现发现是集群形成模块找到其他节点以形成集群的过程。当您启动Elasticsearch节点时，或当节点认为主节点出现故障时，此过程将运行，并持续到找到主节点或选择新的主节点为止。这个过程从一个或多个种子主机提供程序的种子地址列表开始，以及最后已知集群中任何符合主节点的地址。这个

文章目录ElasticSearch Aggregation(八)管道聚合cumulative sum聚合语法Derivative 聚合extended stats bucket聚合语法最大桶聚合语法最小桶聚合moving function聚合语法自定义用户脚本内置函数Moving percentiles聚合语法百分位桶聚合语法stats bucket聚合语法sum bucket聚合语法ElasticSearch Aggregation(八)管道聚合cumulative sum聚合一种父管道聚合，它计

文章目录ElasticSearch Aggregation(七)管道聚合average bucket聚合语法参数响应体例子bucket script聚合语法bucket selector聚合语法bucket sort聚合语法截断而不进行排序cumulative cardinality聚合语法增量累积基数聚合ElasticSearch Aggregation(七)管道聚合管道聚合作用于其他聚合后的结果上，而不是作用于文档集合。有很多不同类型的管道聚合，每一种都会根据其他聚合数据计算出不同的信息，但是这些

文章目录ElasticSearch Aggregation(六)指标聚合Percentiles脚本rate聚合语法使用脚本聚合stats聚合脚本缺失值string stats聚合字符分布脚本缺失值sum聚合Top metrics 聚合size例子ElasticSearch Aggregation(六)指标聚合Percentiles百分比聚合。一种多值指标聚合，对从聚合文档中提取的数值计算一个或多个百分比。这些值可以从文档中的特定数字或直方图字段中提取。当检索到一系列百分位数时，它们可用于估计数据分

文章目录ElasticSearch Aggregation(五)指标聚合avg缺失值直方图字段Cardinality聚合精确控制Extended stats 聚合Geo-Bounds聚合在`geo_shape`字段上聚合边界框Geo-centroid聚合在`geo_shape`字段上聚合边界框Matrix stats 聚合max聚合脚本缺失值直方图字段min聚合Percentile ranks聚合keyed response脚本缺失值ElasticSearch Aggregation(五)指标聚合这个

文章目录ElasticSearch Aggregation(四)桶聚合Geo-distanceglobal聚合histogram聚合最小文档个数IP范围聚合缺失聚合mutil terms聚合聚合参数脚本缺失值混合字段类型子查询和排序嵌套聚合ElasticSearch Aggregation(四)桶聚合Geo-distance地理距离聚合。工作在geo_point类型字段的多桶聚合。在概念上与range聚合非常相似。用户可以定义一个源点和一组距离范围内的桶。这个聚合会计算源点到每个文档的距离，并且根据

文章目录ElasticSearch Aggregation(三)桶聚合date histogram聚合日历间隔日历间隔例子固定间隔固定间隔例子keyskeyed response脚本缺失值排序date range聚合缺失值keyed responsefilter聚合使用顶级`query`来限制所有的聚合在多个过滤器上使用`filters`filters聚合匿名过滤器Other桶ElasticSearch Aggregation(三)桶聚合date histogram聚合日期直方图聚合。这date h

文章目录ElasticSearch Aggregation(二)桶聚合Composite 聚合值的来源termshistogramdate histogramformat时区offset混合不同的值源排序缺少桶大小分页提前终止ElasticSearch Aggregation(二)桶聚合Bucket聚合不像metrics聚合那样计算字段上的指标，而是创建文档的Bucket。每个bucket都与一个标准（取决于聚合类型）相关联，该标准确定当前上下文中的文档是否“落入”其中。换句话说，bucket有效地定

文章目录ElasticSearch Aggregation(一)运行一个聚合修改聚合的范围只返回聚合结果运行多个聚合运行子聚合添加自定义元数据ElasticSearch Aggregation(一)聚合将您的数据汇总为指标、统计数据或者其他信息。聚合操作可以回到你的以下问题：我的网站的平均加载时间是多少？根据交易量，谁是我最有价值的客户？什么会被视为我的网络上的大文件？每个产品类别中有多少产品？ElasticSearch将聚合分为以下三类：指标聚合，例如总和、平均值等桶聚合，根据字段

文章目录ElasticSearch Query DSL(六)Match All查询术语级别的查询exists查询请求例子：exists顶级参数设置查找缺少索引值的文档fuzzy模糊查询查询例子使用高级参数的示例fuzz的顶级参数``参数ID查询前缀查询请求例子prefix顶级参数``参数加速前缀查询范围查询请求例子：rang的顶级参数``参数在`text`和`keyword`上运行`range`查询在`date`字段上运行`range`查询正则查询请求例子regexp顶级参数``参数term询请求例子ter

文章目录ElasticSearch Query DSL(五)连接查询嵌套查询查询例子<`nested>`顶级参数多级嵌套查询has child查询查询例子排序has parent查询查询例子排序parent ID查询查询例子ElasticSearch Query DSL(五)连接查询在像ElasticSearch这样的分布式搜索引擎上执行完整的SQL连接查询是非常昂贵的。相反ElasticSearch提供了两种形式的连接查询，这样的查询被设计用来水平扩展的。嵌套查询：文档可能包含nes

文章目录ElasticSearch Query DSL(四)地理查询地理距离查询例子形状查询内联形状定义预索引形状空间关系ElasticSearch Query DSL(四)地理查询地理距离查询查找与中心点的指定距离内具有地理点的文档。一个地理位置点方圆几公里内的所有文档。例子假设以下文档被索引：curl -X PUT "localhost:9200/my_locations?pretty" -H 'Content-Type: application/json' -d'{ "mappin

文章目录ElasticSearch Query DSL(三)地理查询地理边界框查询示例接受的格式经纬度属性方式经纬度数组方式：经纬度字符串：WKT方式：GeoHash方式：定点每个文档多个位置点类型忽略未映射精度注意事项ElasticSearch Query DSL(三)地理查询地理边界框查询该查询用于在指定矩形的地理边框内搜索指定地理点的文档。匹配geo_point和geo_shape相交的点的文档。示例假设以下文档以被索引：curl -X PUT "localhost:9200/my_lo

文章目录ElasticSearch Query DSL(二)多匹配查询`field`和字段的提升`mutil_match`查询类型`best_fields``most_fields`phrase 和phrase_prefix简单字符串查询请求例子simple_query_string的顶级参数笔记简单查询字符串的语法限制运算符在fields参数中使用通配符和字段提升ElasticSearch Query DSL(二)多匹配查询mutil_mactch匹配建立在match query之上以允许多匹配查询

文章目录ElasticSearch Query DSL(一)查询和过滤器上下文相关性分数查询上下文过滤器上下文查询和过滤器上下文使用示例复合查询Boolean查询使用`minimum_should_match`使用`bool.filter`计算分数提升查询请求例子`boosting`的顶级参数常量得分查询全文查询间隔查询match参数all_of参数any_of参数filter参数匹配查询match的顶级参数field参数短请求例子匹配布尔前缀查询参数匹配短语查询组合字段字段提升ElasticSearch

文章目录ElasticSearch检索你的数据(七）对搜索结果进行排序排序值排序模型使用排序模型的例子排序数值字段ElasticSearch检索你的数据(七）对搜索结果进行排序允许你在字段上添加一种或者多种排序。每种排序也可以颠倒。排序是在每个字段级别上定义的，特殊字段_score按照分数排序，_doc按照索引顺序排序。假设以下索引映射：curl -X PUT "localhost:9200/my-index-000001?pretty" -H 'Content-Type: application

文章目录ElasticSearch检索你的数据(六）搜索模板创建一个搜索模板验证一个搜索模板运行一个模板搜索运行多个模板搜索获取一个搜索模板删除搜索模板设置默认值URL编码字符串连接值转换JSON使用条件ElasticSearch检索你的数据(六）搜索模板搜索模板存储了运行不同变量的查询模板。如果你使用ElasticSearch作为查询后端，你可以将来自搜索栏的用户输入传递给搜索模板的变量参数。这可以让你在不公开ElasticSearch查询语法的情况下来运行查询。如果自定义的应用使用了Elasti

文章目录ElasticSearch检索你的数据(五）搜索多个索引索引提升搜索分片路由自适应副本选择设置偏好使用路由值搜索的并行性和并发性ElasticSearch检索你的数据(五）搜索多个索引在额数据流上执行查询，可以在搜索请求API上增加以逗号分隔的索引名称。以下是查询my-index-000001 和my-index-00000索引：curl -X GET "localhost:9200/my-index-000001,my-index-000002/_search?pretty" -H 'C

文章目录ElasticSearch检索你的数据(四）检索选中的字段filed option搜索指定的字段响应总是返回一个数组检索嵌套字段提取未映射的字段`_source`选项跨集群搜索支持的API跨集群所搜例子远程集群设置在单独远程集群上执行搜索在多个远程集群上执行搜索跳过无效集群嗅探模式下选择网关和种子节点跨集群搜索怎么处理网络延迟`Minimize network roundtrips``Don’t minimize network roundtripsedit`ElasticSearch检索你的数据

文章目录ElasticSearch检索你的数据(三）近乎实时查询分页查询Search After滚动检索结果获取内部记录(`hits`)选项嵌套内部hits嵌套内部hits和`_source`内部hits和嵌套对象字段的分层级别父子内部`hits`ElasticSearch检索你的数据(三）近乎实时查询根据文档和索引概述表明，当存储文档到ElasticSearch中，会被索引并且可以近乎实时的查询（1s内）。什么是近乎实时查询呢？ElasticSearch是基于Lucene的Java库的，并引入了每

文章目录ElasticSearch检索你的数据(二）高亮显示统一高亮`Plain`高亮`Fast vector` 高亮覆盖全局设置指定高亮查询设置高亮类型配置高亮标签高亮`source`高亮所有字段合并多个匹配的字段明确高亮字段顺序控制高亮片段指定`plain`高亮器的片段器高亮器内部工作原理如何将文本分解为片段如何发现好的片段如何高亮片段中的查询术语ElasticSearch检索你的数据(二）高亮显示高亮显示可以让你在检索的结果中获取高亮的代码片段，因此你能向用户展示查询匹配到的数据。当你请求高亮的

文章目录ElasticSearch检索你的数据(一)检索你的数据运行一个检索定义只存在查询中的字段通用的检索选项Query DSLAggregations检索多个数据流和索引分页你的结果检索选定的字段排序检索结果运行异步查询检索超时检索取消跟踪总记录数快速检查匹配文档过滤检索结果Post FilterElasticSearch检索你的数据(一)检索你的数据检索查询是针对ElasticSearch上的数据流或者索引数据信息的一个请求。你可以把查询看做是一个问题，以ElasticSearch理解的方式编

文章目录ElasticSearch文本分析(三)分词过滤器撇号（`'`）分词过滤器示例添加到分析上经典分词过滤器示例添加到分析器上条件分词过滤器示例配置参数自定义和增加到分析器上Delimited payload 分词过滤器示例添加到分析器上配置自定义和添加分析器上返回存储的有效负载`edge n-gram`分词过滤器实例添加到分析器自定义Elision分词过滤器示例添加到分析器配置参数自定义指纹分词过滤器示例添加到分析器中配置参数自定义保留类型分词过滤器包含的示例不包含的示例配置参数自定义和添加到分析器保

文章目录ElasticSearch文本分析(二)分词器参考字符组分词器配置例子Edge n-gram 分词器例子配置`max_gram`参数的限制配置示例`keyword`分词器例子结合分词过滤器LowerCase分词器例子路径层次分词器例子配置配置示例详细例子模式分词器示例配置配置示例简单的模式匹配分词器标准的分词器配置配置实例`UAX URL email`分词器空格分词器配置分词过滤器参考字符过滤器参考ElasticSearch文本分析(二)分词器参考分词器接收字符流，将其分解成单独的分词，并输出

文章目录ElasticSearch文本分析(一)概述分词归一化自定义文本分析器概念分析器的剖析字符过滤器分词器分词过滤器索引和查询分析词干提取词干提取分词过滤器算法词干提取器词典词干提取器配置文本分析测试分析器配置内部分析其内部分析器参考指纹分析器示例输出配置配置例子定义`keyword`分析器例子输出配置定义语言分析器模式分析器例子输出配置配置实例驼峰分词器定义简单的分析器例子定义自定义标准分析器例子配置配置例子定义停用词分析器例子：配置配置例子：定义空格分析器例子配置定义ElasticSearch文本

文章目录ElasticSearch映射(三)字段数据类型通用类型对象和关系类型结构化数据类型文本检索类型文档排名类型聚合指标（`aggregate metric`）`aggregate_metric_double`字段参数使用例子别名（`alias`）别名的目标（`alias targets`）不支持的API数组（`array`）二进制（`binary`）日期多个日期格式地理位置（`Geo-point`）`geo-shape``IP``JOIN``keyword``nested`嵌套对象数组如何扁平化使用我

文章目录ElasticSearch映射(二)运行时字段代价映射运行时字段不用脚本定义运行时字段更新和删除运行时字段在检索请求中定义运行时字段使用其他运行时字段创建运行时字段查询期间覆盖字段值检索运行时字段定义运行时字段计算星期几摄取测试数据计算星期几的查询索引一个运行时字段ElasticSearch映射(二)运行时字段运行时字段是在查询的时候计算的字段。运行时字段使你能够：在不重新索引数据的情况下动态向索引中增加新的字段在不了解数据结构的情况下开始处理数据在查询的时候可以覆盖索引返回来的值。

文章目录ElasticSearch映射(一)动态映射动态字段映射日期检测关闭日期检测自定义日期检测格式数值检测动态模板验证动态模板在动态模板中映射运行时字段`match_mapping_type``match`和`unmatch``path_match` 和`path_unmatch`模板变量动态模板示例结构化检索字符串的纯文本映射禁用`norms`时间序列明确映射创建带有明确映射的索引向现有映射添加字段查看索引的映射查看指定字段的映射ElasticSearch映射(一)映射是定义文档以及其包含的字段如

ElasticSearch索引模块索引分片的分配这个模块主要提供了每个索引的设置来达到每个索引的分片具体分配到哪个节点上去。主要从以下几个方面来介绍分片分配过滤器：用于控制哪个分片被分配到哪个节点上去延迟分配：由于节点的离开，导致未分配的分片延迟分配每个节点的总分片：每个节点对于来自同一索引的分片限制数据层的分配：控制索引到数据层的分配索引的分片分配过滤器你可以使用索引的分片分配过滤器来控制指定的索引分片分配到ElasticSearch的什么地方，也就是哪些节点。分片分配过滤器可以基于

异常原因原因就是因为官方给的例子参数位置书写错误，查看官方文档代码如下：UpdateByQueryRequestBuilder updateByQuery = UpdateByQueryAction.INSTANCE.newRequestBuilder(client);updateByQuery.source("source_index") .script(new Script(...

检索多个文档之Multi-get(mget) API检索多个文档之Bulk API

ElasticSearch创建索引的原理ElasticSearch查询索引的原理ElasticSearch更新删除索引的原理

定义ElasticSearch是一个分布式的搜索引擎，它的内部是基于Lucene写的。它用于全文搜索，半结构化数据搜索以及分析统计。我们可以使用它来作为系统中的的搜索引擎。可以使用简单的RestFul API与ElasticSearch进行交互。它提供了两种交互式协议，一种是ElasticSearch Transport Protocol协议，一种是Http协议。ElasticSearch Tr...