
es
es
小熊123~
优秀是一种习惯
展开
-
ES分布式架构原理
目录数据结构分片机构写过程(协调节点,主数据节点,从数据节点,协调节点返回)读过程(协调节点,负载均衡数据节点,协调节点返回)搜索数据过程写、读、搜索总结写数据底层原理删除/更新数据底层原理倒排索引数据结构index -> type -> mapping -> document -> field index 一张订单表document 一条订单记录filed 一个字段分片机构.原创 2020-12-24 16:20:41 · 643 阅读 · 3 评论 -
ES性能优化
查第一条很慢,后面就快了 缓存预热给ES设置的内存太小 给ES分配的内存一般要大于数据量的一半 写入ES的数据最好小于等于或者是略大于ES的filesystem cache的内存容量复杂查询性能低 尽量不要做复杂查询深度分页和跳页查询很慢 根据ES搜索原理可知,深度分页和跳页查询执行的操作太多,故而很慢 scroll api,一页一页的往下翻 search_after,一页一页的往下翻...原创 2020-12-24 16:43:59 · 493 阅读 · 1 评论 -
ES生产集群部署
es 生产集群我们部署了 5 台机器,每台机器是 6 核 64G 的,集群总内存是 320G。 我们 es 集群的日增量数据大概是 2000 万条,每天日增量数据大概是 500MB,每月增量数据大概是 6 亿,15G。目前系统已经运行了几个月,现在 es 集群里数据总量大概是 100G 左右。 目前线上有 5 个索引(这个结合你们自己业务来,看看自己有哪些数据可以放 es 的),每个索引的数据量大概是 20G,所以这个数据量之内,我们每个索引分配的是 8 个 shard,比默认的 5...原创 2020-12-24 16:44:49 · 392 阅读 · 1 评论