Doris Broker Load高并发导入

原创已于 2023-11-30 17:06:15 修改 · 834 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#java #开发语言

于 2023-03-06 10:18:17 首次发布

Doris 专栏收录该内容

38 篇文章

订阅专栏

当遇到BrokerLoad导入效率低下的问题时，可能原因是并发度不足。为解决此问题，可以调整be.conf中的max_send_batch_parallelism_per_job、min_bytes_per_broker_scanner和load_parallelism参数，以及fe.conf中的max_broker_concurrency、async_pending_load_task_pool_size、async_loading_load_task_pool_size和load_checker_interval_second、default_load_parallelism等设置，以提升并行度和优化加载性能。

当发现Broker Load导入效率不高，很可能是并发度原因，可以尝试配置如下参数：
be.conf

max_send_batch_parallelism_per_job=50
broker laod任务：

min_bytes_per_broker_scanner=218
load_parallelism=50
send_batch_parallelism=50
fe.conf 中配置

max_broker_concurrency=100
async_pending_load_task_pool_size=50
async_loading_load_task_pool_size=20
load_checker_interval_second=1
default_load_parallelism=50