如何在高配置服务器上跑出Doris的性能

原创已于 2023-04-17 17:25:35 修改 · 2k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

于 2023-04-17 17:24:30 首次发布

针对32core服务器，文章提供了Doris的调优参数，包括最大事务数、线程池设置、内存使用和磁盘I/O优化，如max_cumu_compaction_threads设为60，num_threads_per_core设为96，以提高写入速度和查询效率。此外，还调整了Thrift超时时间和并行度，以及启用压缩策略，以更好地利用服务器资源。

问题背景：对于服务器32core，48core甚至64core服务器，这时Doirs默认的参数配置（内存、CPU、线程）较少。在用户看到的现象是服务器资源使用不高，到时写入或者查询性能不高。
如下配置是可以增强Doris使用服务器资源的能力，出来大家参考参考

该配置是在10个32core，128GB，每个服务器挂着5个1TB磁盘。每秒写入80w数据的集群上的实测的配置。

1.BE、FE调优参数添加，比如数据库最大事务.
#Cumulative Compaction线程池中线程数量的最大值
max_cumu_compaction_threads = 60
#Base Compaction线程池中线程数量的最大值
max_base_compaction_threads = 8
#控制每个内核运行工作的线程数。通常选择 2 倍或 3 倍的内核数量。这使核心保持忙碌而不会导致过度抖动
num_threads_per_core = 96
thrift_connect_timeout_seconds = 10
thrift_rpc_timeout_ms = 10000
streaming_load_json_max_mb = 2000
max_tablet_version_num = 8000
max_runnings_transactions_per_txn_map = 50000
max_running_txn_num_per_db = 100000
publish_version_worker_count = 96
number_tablet_writer_threads = 64
min_compaction_threads = 20
max_send_batch_parallelism_per_job = 20
enable_quick_compaction = false
compaction_task_num_per_disk=8
compaction_task_num_per_fast_disk=16