LZHH_2008的博客

ES 生命周期管理

本文是以ES6.2.4 为例子1. 创建索引;默认的分片是5Default for number_of_shards is 5默认的副本是1Default for number_of_replicas is 1 (ie one replica for each primary shard) { "settings" : { "index" : { "number_of_shards" : 3, "number_

一、refresh对于任何数据库的写入来讲fsync刷盘虽然保证的数据的安全但是如果每次操作都必须fsync一次，那fsync操作将是一个巨大的操作代价，在衡量对数据安全与操作代价下，ES引入了一个较轻量的操作refresh操作来避免频繁的fsync操作。1.1 什么是refresh在ES中，当写入一个新文档时，首先被写入到内存缓存中，默认每1秒将in-memory index buffer中的文档生成一个新的段并清空原有in-memory index buffer，新写入的段变为可读状态，.

write -> refresh -> flush write：文档数据到内存缓存，并存到 translog refresh：内存缓存中的文档数据，到文件缓存中的 segment 。此时可以被搜到 flush 是缓存中的 segment 文档数据写入到磁盘 写入过程Elasticsearch写入数据到索引的过程大致是这样的：首先客户端会根据配置的连接节点，通过轮询的方式选择一个coordinate节点。coordinate节点通过路由函数

上次记录ES插入数据：elasticsearch 版本 6.6 插入和查询数据_LZHH_2008的博客-优快云博客上次是6.6的版本，并且是连接的集群节点，这次本地装了一个单机版的6.2.4的版本，单机版本只是解压启动服务，没有做配置的修改，运行的时候直接报错：NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{OUXfz-4hQAijGYrkYAojpQ}{127.0.0

1. 下载拼音分词：https://github.com/medcl/elasticsearch-analysis-pinyin/releases?after=v5.6.11注：插件下载一定要和自己版本对应的Es版本一致，并且安装完插件后需重启Es，才能生效。2. 在 es 的目录下plugins 中新建 拼音文件夹把下载的版本和 es相同的拼音分词 解压到新建的pinyin文件夹中：就是这三个文件3. 重启 es才能生效...

1. 下载 es 6.2https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.ziphttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.zip2. 解压安装3.访问：Install Elasticsearch with .zip on Windows |...

Precision controleditThis aggregation also supports theprecision_thresholdoption:Theprecision_thresholdoption is specific to the current internal implementation of thecardinalityagg, which may change in the future{ "aggs" : { "a...

Elasticsearch 使用 head 插件 对es 进行增删改查（es5.6.6）：1.新增数据 post 请求 （index/type）gg_province/gg_province/2. 删除数据 delete请求：gg_province/gg_province/AXQkqmpZEDgb118vKfVH （index/type/id）3.修改数据 post请求gg_province/gg_province/AXQk0YfPEDgb118vKfVL/_u...

HDFS： Hadoop 的分布式文件系统称为 HDFS，它是为以流式数据访问模式存储超大文件而设计的文件系统。 HDFS适合： 存储并管理PB级数据 处理非结构化数据 注重数据处理的吞吐量 应用模式为：一次写多次读 不适合： 存储小文件 大量的随机度 需要修改文件 总结： HDFS 是设计成适应一次写入，多次读出的场景，且不支持文件的修改。...

1. 引入POM文件<dependencyManagement> <dependencies> <!-- es 查询 --> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId>

elasticsearch 分页查询 大于10000条时， 查询结果会出错, 需要设置max_result_window。（大的分页推荐使用scroll :search请求返回一个单一的结果“页”，而scrollAPI 可以被用来检索大量的结果（甚至所有的结果），就像在传统数据库中使用的游标 cursor。）报错：设置：max_result_window就能查询出结果：...

1.你先获取 原来索引 old_index 的mapping2.关闭storage，和userng。删除索引old_index （删除前备份 或者不删除，重新一个新的）3.然后创建new_index，设置分片和服务，粘贴上面复制过来的mapping最后先启动usermng，等个5分钟左右，在启动storage...

ES 按 userName 字段进行分组 统计{ "query": { "bool": { "must": [ { "range": { "operateTime": { "gt": "2020-05-18 00:00:00", "lt": "2020-05-24 23:59:59" } } },.

Elasticsearch 去重统计 按照deviceId 去重统计总数相当于SQLSELECT COUNT(DISTINCT deviceId ) FROM log_info where userName= 'admin' and operateTime > '2020-05-18 00:00:00' andperateTime < '2020-05-25 00:00:00'{ "query": { "bool": { "must": [{ "ma...

查询 出userName 是 admin ，operateTime在2020-05-18 00:00:00 和2020-05-2500:00:00之间，并且 logType 是 浏览，回放，暂停 中的任何一个。相当于SQL select * from log_info where userName = 'admin' and operateTime > 2020-05-18 00:00:00 andoperateTime <2020-05-18 00:00:00 ...