一起来学ES —— Bulk剖析

最新推荐文章于 2024-07-29 10:53:26 发布

转载最新推荐文章于 2024-07-29 10:53:26 发布 · 771 阅读

CC 4.0 BY-SA版权

原文链接：https://yq.aliyun.com/articles/178990

文章标签：

本文详细剖析了Elasticsearch中Bulk请求的处理流程，包括从HTTP接收请求到数据节点的主副本同步写入全过程。同时介绍了相关的线程池配置及实际应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简单而言，Bulk的时序如下图所示，Http节点只将包转为TCP,ingest节点进行些预设的前置处理，然后按shard拆分，再把按shard拆开的bulk再发到真实的data节点上，最后由data节点进行主副本同步写入。

RestControllor 接收请求，dispatch到对应的handler上
BaseRestHandler 调用 RestBulkAction 进行前置处理，请求转为 BulkRequest
NodeClient根据 ActionModule 注册的映射关系，找到TransportBulkAction作为tcp的处理逻辑
TransportBulkAction 检查自己是不是 ingest node，如果不是就转发
Ingest Node接收到请求,执行pipeline
TransportBulkAction调用BulkOperation将BulkRequest拆为BulkShardRequest,转发到DataNode
Primary Data Node收到请求,转为ReplicationOperation操作，调用TransportShardBulkAction进行主副本的依次执行
TransportShardBulkAction的具体执行过程为shardOperationOnPrimary和shardOperationOnReplica,执行时直接调用了Engine进行执行。具体代码就不贴了，比较长

在日常中，我们经常遇到由于线程池占满的es_rejected_execution_exception
通过源码可以看到，bulk的线程池为ThreadPool.Names.BULK,全局查找后发现只有TransportShardBulkAction和PipelineExecutionService有用。
Rest和TransportBulk居然没有用Bulk线程池，很是惊讶。不知道是不是没找到。。。

ZSearch2.0 服务申请入口:http://search.alipay.com/看我们这二级的域名就知道重要性了吧。
蚂蚁中间件的ZSearch2.0，核心采用了ElasticSearch，原生支持所有的ElasticSearch的操作，具备强大的数据检索和分析能力，自5月份投入试运行以来，已线上服务16个业务方，数据规模在130TB，近2K亿的文档数，QPS稳定在30W左右。通过数月不断的观察、调优、测试，如今已达到正式上线的标准，欢迎同学们踊跃使用，提出宝贵意见。
后续我们会对Elasticsearch和Lucene做持续优化，欢迎大家来使用，并提出你的需求。
有任何问题可以联系我们（@善仁(xinyu.jxy),@丰坚(yinghao.wyh),@十倍(lvliang.ll),@城破(huabiao.mahb) ）
详细介绍请参阅ZSearch2.0 夏日来袭