
数据库运维-ElasticSearch-LK
ELK相关的技术案例分享
戒掉贪嗔痴(薛双奇)
10年以上DBA从业经验,Oracle ACE,中国DBA联盟成员,青学会专家顾问,Oracle,MySQL,PostgreSQL DBA,大数据运维工程师。
熟悉20种数据库的运维及管理:横跨关系数据库,NoSQL数据库,搜索引擎,大数据等。
获得IT类认证十几张。
擅长数据库系统架构涉及,容量规划,灾备系统建设,故障诊断及性能优化。
展开
-
【es】索引的监控
查看索引运行状态,和统计信息。包括索引的健康状态,分片的段数据,2.监控索引分片的段数据。3.监控索引分片的分片。4.监控分片的恢复情况。5.监控索引的统计指标。分配和恢复,统计指标。原创 2025-04-03 15:42:52 · 110 阅读 · 0 评论 -
【es】使用模版组件简化模版配置
可以把常规的索引设置,映射等内容写成可复用的模板组件,然后在索引模板中引用这些组件。这样模板中的配置内容就会非常简洁。原创 2025-04-03 14:30:51 · 74 阅读 · 0 评论 -
【es】索引模版
ES内置了两个索引模版分别匹配名称符合 logs-*-* 和 metrics-*-* 的索引。如果想在索引 service-log2中自定义某些内容,可以在创建索引映射时指明,当需要为同一类索引应用相同的配置,映射,别名时,如果每次创建索引都逐一配置繁琐。假设有两个索引,除了名称不同,结构相同。可以引用相同的模版。所以创建索引时,不要使用和内置模版名称相同的索引名称。2.使用索引模版定制索引结构。这样就可以覆盖掉索引模版。索引模版简化这种配置。原创 2025-04-03 14:07:43 · 58 阅读 · 0 评论 -
【es】索引的块
index.blocks.read_only:true :索引及元数据变为只读状态,不可写入,不可删除。index.blocks.read_only_allow_delete:true, 只读状态下允许删除。index.blocks.write=true, 禁止索引的写入操作,但是可以写入元数据。索引的块能够阻塞某个索引上的读请求或者写请求,使得索引成为只读或者只写的状态。index.blocks.read=true , 禁止索引的读取操作。可以通过动态设置来配置索引的块。2.设置blocks。原创 2025-04-03 11:55:44 · 50 阅读 · 0 评论 -
【es】冻结索引
查询时ES会实时构建冻结索引的每个分片的瞬态数据结构。并在搜索完成时丢弃这些数据。因为偶尔存在查询的需要,这时可以使用索引冻结。被冻结后变成只读,不可写入新数据。如果集群中存在一些旧索引,不再写入数据,查询频率很低,但是不能直接关闭他们,避免了旧的数据占用缓存,影响查询性能。原创 2025-04-01 18:07:26 · 204 阅读 · 0 评论 -
【es】关闭索引
部分索引在业务中不需要使用但是又不能将其直接删除,这时可以使用关闭索引的操作使得索引。索引被关闭后,该索引在集群中相关的内部数据也会被销毁,这有利于减少。如果想要使用时可以重新打开。原创 2025-04-01 17:57:25 · 176 阅读 · 0 评论 -
【es】强制合并
一个ES索引可以有1到多个主分片,每个主分片是一个lucene 索引,一个lucene索引又包含。段的强制合并通常比较耗时,它会自动在后台进行,必要时手动触发段强制合并也是有意义的。当删除索引文档时,数据不会彻底从磁盘上删除,计算机只会对删除的文档做一个。而强制合并索引段时,会把分片内部很多零碎的小段合并成大段并去除被删除。的文档,这样做的好处是每个分片中段会减少并腾出删除文档占据的空间。原创 2025-04-01 17:43:15 · 128 阅读 · 0 评论 -
【es】冲洗索引
由于把数据逐条写入到外存是比较耗时的,ES使用了事务日志 translog来记录每个写入的请求信息。这个过程默认是每隔一段时间自动完成的。如果ES意外宕机,在下次启动时自动将事务日志。冲洗索引时,ES会一次性把文件系统缓存的数据写入磁盘,然后把事务日志清空。如果说刷新索引就是把数据写入内存,那么冲洗索引就是把数据写入外存。中的数据恢复到磁盘上,从而最大限度防止数据丢失。一般不需要人工冲洗,默认即可。原创 2025-04-01 17:24:10 · 116 阅读 · 0 评论 -
【es】刷新索引
(1)就索引请求的文档数据写入内存中缓冲区和(类似事务)日志,此时这些数据还不能被搜索到。索引经过刷新操作之后,之前的所有写入操作就能够在内存中生效,最新的数据就可以被检索到。默认情况下,ES会对过去30s内被搜索到的索引提供自动化刷新机制,刷新间隔默认是1s.(3)冲洗索引数据,把文件系统缓存中的数据写入磁盘并清空事务日志,完成数据提交。当外部数据写入索引时,数据并不会直接提交到磁盘上,因为提交数据的过程成本高昂,(2)刷新索引数据,把缓冲区的数据写入文件系统缓存,此时数据已能够被搜索到。原创 2025-04-01 16:57:14 · 150 阅读 · 0 评论 -
【es】清空索引
fielddata 类似表结构,每个字段的数据缓存到 fielddata 中用于高性能的排序和聚集操作。字段数据(fielddata)加缓存。1.对索引的操作有哪些?原创 2025-04-01 16:37:04 · 130 阅读 · 0 评论 -
【es】滚动索引
当有一个索引数据量太大时,如果继续写入数据可能会导致分片容量过大,查询时会因内存不足引起。为了避免所有的数据都写入同一个索引,可以考虑使用滚动索引。一起使用,可实现把原先写入一个索引的数据自动分发到多个索引中。3.如何让滚动索引自动滚动。1.滚动索引使用场景。原创 2025-04-01 16:21:34 · 167 阅读 · 0 评论 -
【es】在别名中使用路由
3.写入时必须指定一个索引。1.给索引别名指定路由。2.设置搜索时的路由值。原创 2025-04-01 15:13:37 · 69 阅读 · 0 评论 -
【es】索引的别名
一个好的解决方案就是,可以创建一个新的索引保存新的数据,然后去一个别名同时指向这两个索引,如果只有一个分片,数据量非常大,想扩容但是不行重建索引。查询时使用别名就可以同时查询两个索引的数据。8.一个索引上可以创建多个别名。4.查看别名包含那些索引。5.移除某个索引上的别名。有结果看,过滤器起作用了。2.别名的创建和删除。6.别名配置数据过滤。原创 2025-04-01 11:18:25 · 201 阅读 · 0 评论 -
【es】索引的路由规则
routing_partition_size > 1 时,可以让同一个routing 值的记录分散在多个分片上。而不是一个分片,该配置需要在索引的 index.routing_partition_size 中进行设置。默认情况下 _routing 的值时文档的_id 值,也就是根据主键的散列值对分片数进行取模运算,这两者时背道而驰的。需要注意:虽然手动指定路由值可以减少查询使用的分片数,但是这有可能引发大量的数据被。得到写入分片的编号。路由到少数几个分片,而其余的很多分片数据量太少,使得分片的大小不均匀。原创 2025-04-01 10:47:33 · 199 阅读 · 0 评论 -
【es】数据流增长过快如何快速清理冷数据
【代码】【es】数据流增长过快如何快速清理冷数据。原创 2025-04-01 10:04:47 · 236 阅读 · 0 评论 -
【es】重建索引
【代码】【es】重建索引。原创 2025-04-01 09:05:42 · 324 阅读 · 0 评论 -
【es】索引数据批量写入
2.可以在一个批量中同时使用CREATE,INDEX,UPDATE,DELETE;index 是操作类型,_id 是主键。下一行的JSON表示要添加的文档。原创 2025-04-01 08:55:22 · 123 阅读 · 0 评论 -
【es】使用乐观锁进行并发控制
低版本的ES使用了 _version 字段来实现乐观锁,在ES7.9.1中_version 字段已经废弃。开始用 _seq_no,_primary_term 一起实现乐观锁。修改一次 _seq_no 增加1.ES 不支持事务,无法保证写入的顺序。不支持事务隔离级别。原创 2025-03-31 17:52:14 · 340 阅读 · 0 评论 -
【es】索引的增删改查
3.使用update修改数据。原创 2025-03-31 17:05:03 · 143 阅读 · 0 评论 -
【es】通过patch_match 将指定路径的字段映射成需要的类型
1.将对象里面的内容全部映射为关键字。原创 2025-03-31 16:11:09 · 215 阅读 · 0 评论 -
【es】动态映射
2.直接添加数据检查类型。5.字段名称字段动态映射。3.开启数字的动态映射。原创 2025-03-31 15:57:41 · 141 阅读 · 0 评论 -
【es】ES 字段复制和字段存储-copy_to 参数
2.将复制字段保存到磁盘上。1.copy_to 参数。原创 2025-03-28 18:13:51 · 108 阅读 · 0 评论 -
【es】ES数据类型3
3.为所有字段设置忽略非法数据。2.忽略不合法的数据类型。原创 2025-03-28 17:46:14 · 71 阅读 · 0 评论 -
【es】ES数据类型之2
2.text 类型中放置不分词field参数让文本的前一部分可以通过关键字匹配。3.布尔类型 boolean。--添加布尔类型字段。原创 2025-03-28 17:15:01 · 131 阅读 · 0 评论 -
【es】索引字段类型数值类型和日期类型
1.定义一个简单的表及结构。原创 2025-03-28 15:50:30 · 97 阅读 · 0 评论 -
【es】索引生命周期管理-ILM
(2)索引模板里有生命周期测。创建数据流的必要条件。5.查看生命周期策略。1.生命周期策略创建。原创 2025-03-28 13:38:33 · 110 阅读 · 0 评论 -
【es】索引数据的写入过程
1.索引数据的写入过程。原创 2025-03-28 10:47:54 · 79 阅读 · 0 评论 -
【es】如何防止短时间的重启节点导致分片的恢复
1.如何防止短时间内重启导致的集群分片恢复。改变网关中分片恢复的条件。原创 2025-03-26 15:52:25 · 63 阅读 · 0 评论 -
【es】通过分片感知将节点划分为不同的区域
1.es的分片感知,将节点划分为不同的区域。原创 2025-03-26 15:48:30 · 99 阅读 · 0 评论 -
【es】设置副本分片
【代码】【es】设置副本分片。原创 2025-03-26 15:45:40 · 95 阅读 · 0 评论 -
【es】内存配置及压缩算法设置
1.内存配置及压缩算法配置。原创 2025-03-26 15:41:18 · 82 阅读 · 0 评论 -
【es】多个数据目录或日志目录的设置
1.设置多个数据目录或日志文件。原创 2025-03-26 15:39:29 · 61 阅读 · 0 评论 -
【es】es 通过curl 命令行工具进行用户管理
1.es通过crul命令进行用户管理。原创 2025-03-26 15:35:16 · 84 阅读 · 0 评论 -
【es】es curl命令行工具实用命令3
1.es通过curl 命令行工具实用命令3。原创 2025-03-26 15:33:22 · 91 阅读 · 0 评论 -
【es】curl命令行工具实用命令2
1.es通过curl命令行管理实用命令2。原创 2025-03-26 15:31:45 · 78 阅读 · 0 评论 -
【es】es命令行管理实用命令2
【代码】【es】es命令行管理实用命令2。原创 2025-03-25 17:22:28 · 74 阅读 · 0 评论 -
【es】命令行管理实用命令
1.es命令行管理实用命令。原创 2025-03-25 17:20:35 · 98 阅读 · 0 评论 -
【es】带有时间戳的文档查询注意事项
1.查询带有时间戳的文档。原创 2025-03-25 17:14:52 · 108 阅读 · 0 评论 -
【es】执行reindex 时报错,但是看数据好些又全部转移成功。
1.es执行reindex时报错。原创 2025-03-25 17:11:30 · 60 阅读 · 0 评论 -
【es】ERROR: Failed to establish SSL connection to elasticsearch at https
1.es初始化失败。原创 2025-03-25 17:05:15 · 95 阅读 · 0 评论