本文详细介绍了Elasticsearch的数据写入流程，包括从内存缓冲区、文件缓存区到磁盘的步骤，以及refresh和flush的过程。数据在refresh后变得可搜索，但并非实时，可通过配置调整最小延迟。为了防止数据丢失，Elasticsearch使用translog进行日志记录，并在系统重启时恢复。实现数据高可用则依赖于副本分片。文章还提及了强制刷新请求和刷新间隔的调整方法。
临渊羡鱼 不如退而结网，博客目的旨在记录与分享，如有错误，欢迎指出
Elasticsearch写入流程
- 写入内存缓冲区
- 写入文件缓存区
- 写入磁盘
以上三步涉及两个操作：refresh和flush
如图所示：
如上图所示，当客户端向es发起写入请求时，请求到达Coordinate nodes(协调节点),由协调节点确定将写入请求分发到索引的那个分片之中,到达指定分片之后开始写入，es会将数据先写入内存缓冲区(同时等待写入副本完毕)以及写入translog文件中。
如上图所示，一秒钟过后(默认)将内存缓冲区的数据写入段内(此时段在文件缓冲区)此阶段为refresh，这时数据变为可搜索状态，等待30分钟之后(默认)，将文件缓冲区中的段flush到磁盘，同时将translog删除。
至此，es写入流程完成。
由以上我们可以找寻出几个比较重要的点：
为什么es是近实时的 以及是否能调整为实时?
由上述refresh步骤时我们可得知，数据是先写入内存缓冲区，一秒钟才会被refresh到段内，当数据到达段内数据才变成可搜索状态，不能利用配置调整为实时，利用配置最快可见为百毫秒，如果想要数据立即可见，可以调用强制刷新请求
调整刷新时间命令
PUT
{
"settings": {
"refresh_interval": "5m" //此时将刷新时间间隔设置为5分钟
}
}
强制刷新请求
POST / my-index-000001 / _refresh
es如何达到数据不丢失
当写入内存缓冲区时，如果在不到refresh时间，系统断电或者宕机，此时内存缓冲区的数据全局丢失，当重新启动时，会利用translog来恢复数据，在写入内存缓冲区的同时写入了translog日志。
es如何达到数据高可用
达到数据高可用是利用副本达到的，当搭建es集群时，可以给每个索引分片创建副本，默认情况下副本与分片不再同一机器上，当分片所在机器宕机时，副本会升为分片提供写入，如果分片所在的机器此时宕机恢复，则由原来的分片变为副本。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
