ElasticSearch(ELK)问题小结

本文深入探讨ES使用过程中遇到的挑战,如自动分词、查询大量数据的策略、TooManyClauses问题及解决方案,旨在帮助读者掌握ES高级操作。

最近使用ES也有一段时间了,中间也遇到许多问题,现在把能想到的问题总结一下~

自动分词问题(模板自定义)

  1. 先把要传文件的模板定义好。参考:
    模板上传(kibana)
    mapping模板自定义

查询数据超过默认的10000条

参考博客

  1. 设置窗口大小
    优点:方便
    缺点:当结果足够大的时候,会大大加大内存和CPU的消耗
PUT _settings
{
    "index": {
        "max_result_window": "10000000"
    }
}
  1. 滚动查询
    优点:当结果足够大的时候, scroll 性能更好。
    缺点:但是不灵活和 scroll_id 难管理问题存在
    参考:scroll1
    scroll2
    注意
    1)scroll2中的用法,即第一次设置scrollId以后,要先执行一次才能获得现有的ID中滚动到的值。
    2)滚动时长的设置不要太短。

TooManyClauses问题

如果bool查询的查询条件过多会导致TooManyClauses问题。

“caused_by”:{“type”:“too_many_clauses”,“reason”:“maxClauseCount is set to 1024”}}}],
“caused_by”:{“type”:“query_shard_exception”,“reason”:"failed to create query:

解决方式:
配置文件 Elasticsearch.yuml中配置
index.query.bool.max_clause_count: 10240
5+版本配置: indices.query.bool.max_clause_count: 10240
设置最大限制bool查询的条数。过多会导致性能比较慢。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值