u012061196的博客

ES优化读写优化本文对es优化提供一些思路，具体操作还是需要结合es集群的机器性能、网络、es版本、索引数据量、doc大小、读多还是写多等，来进行实际的测试和调整来进行选择最优的方式。大多数时候，读性能和写性能是不可能达到最优的，这个时候就需要根据具体的业务去权衡。本文对正在使用的索引进行优化，当然对打算新建索引参考也是很有参考意思，这意味着丛一开始使用索引就尽可能达到最优状态，另外有一些业务数据随着时间的推移已经不是一开始设想的读写频率、读写比例、已经每天数据增加减少。那就需要定期审视目前业务需求

分片（shard）：一个ES的index由多个shard组成，每个shard承载index的一部分数据。副本（replica）：index也可以设定副本数（number_of_replicas），也就是同一个shard有多少个备份。对于查询压力较大的index，可以考虑提高副本数（number_of_replicas），通过多个副本均摊查询压力shard数量（number_of_shards）设置过多或过低都会引发一些问题：shard数量过多，则批量写入/查询请求被分割为过多的子写入/查询，导...

一、 查询1.嵌套文档的查询（nested）认为嵌套文档查出来的结果里面，只会把符合查询条件的嵌套层内容查出来，其实，他是把嵌套层对应的整个document查出来，所有需要进行过滤。举个例子（1）索引设计如下的{"settings": {"index": {"number_of_shards": "8","number_of_replicas": "1"}},"mappings": {"f...

1. 背景2. sql#!/bin/shversion_now=$(date -d"-2 day" +%Y-%m-%d)version_pre=$(date -d"-3 day" +%Y-%m-%d)hive -e "DROP TABLE IF EXISTS app.tmp_xz_jimi3_sku_description_delete"hive -e "CREATE TABLE app.tmp_xz_jimi3_sku_description_delete ASSELECT

1. 官方参考文档（可以选择想要看的版本这里是6.3版本）https://www.elastic.co/guide/en/elasticsearch/reference/6.3/index.html

https://www.elastic.co/cn/downloads/past-releases#elasticsearch

项目背景： 项目需求，需要每天删除elasticsearch的索引中数据。也就是需要一个定时任务，来完成。解决方式： 通过shell脚本定时删除指定条件的数据。通过curl命令删除elasticsearch索引的数据，命令如下：curl -XPOST -H "Content-Type: application/json" -H "Au...

项目背景 每天需要批量更新商品属性相关的数据用来检索，由于数据量比较大，每天的数据都是上亿量级的记录，考虑到检索速度的要求，选用ES来检索。但是数据都是在hadoop上，索引用hive到同步到ES的技术来完成。此篇主要是对任务完成速度的介绍图1是hive同步的任务，一共6个任务，上面有任务开始时间、结束时间。图2是ES集群的监控，监控数据插入到ES的速度。下面结合这两幅图简要对数据...

一、查询（_search）例如，查询index 和 type 为idx_ot的所有文档，下面的例子忽略curl中的公共部分，只展示query部分curl -XPOST -H "Content-Type: application/json" -H "Authorization: xxx "http://11.5.44.232:40002/idx_ot/idx_ot/_search?pr...

1. 单个字段多个值查询termsQuery termsQuery 是完全匹配(es建库的时候一定设置该字段为 not_analysis)一次search时，限定sku字段=sku1或者sku2或者为"" 特别强调一下 空字符串"" 也是可以完全匹配的代码如下termsQuery("sku", “sku1”,"sku2“,”“);2.完全匹配（使用term）最重要的是在...

背景项目需要，每天有大量的数据需要从hadoop同步到ES，这部分数据需要替换掉之前ES索引的数据，所以不太可能每天都向ES的一个索引增加，另一个原因是ES的存储资源比mysql等相对比较贵。索引看了用ES模板来每天创建一个新的索引，删除一个相对比较老的索引。实战下面的内容是在ES 6.3集群进行操作的。（6.x都是一样的）公司的es模板申请页面如下（其实不同公司的页面都类似）...