Doris Broker Load高并发导入

原创 已于 2023-11-30 17:06:15 修改 · 835 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #开发语言

于 2023-03-06 10:18:17 首次发布
当遇到BrokerLoad导入效率低下的问题时，可能原因是并发度不足。为解决此问题，可以调整be.conf中的max_send_batch_parallelism_per_job、min_bytes_per_broker_scanner和load_parallelism参数，以及fe.conf中的max_broker_concurrency、async_pending_load_task_pool_size、async_loading_load_task_pool_size和load_checker_interval_second、default_load_parallelism等设置，以提升并行度和优化加载性能。

当发现Broker Load导入效率不高，很可能是并发度原因，可以尝试配置如下参数：
be.conf

max_send_batch_parallelism_per_job=50
broker laod任务：

min_bytes_per_broker_scanner=218
load_parallelism=50
send_batch_parallelism=50
fe.conf 中配置

max_broker_concurrency=100
async_pending_load_task_pool_size=50
async_loading_load_task_pool_size=20
load_checker_interval_second=1
default_load_parallelism=50

Apache Doris (二十五）：Doris 数据导入(三）Broker Load-1
qq_32020645的博客
07-13 352
7. send_batch_parallelism：用于设置发送批处理数据的并行度，如果并行度的值超过 BE 配置中的 max_send_batch_parallelism_per_job（发送批处理数据的最大并行度，默认5），那么作为协调点的 BE 将使用 max_send_batch_parallelism_per_job 的值。使用 Broker load 最适合的场景就是原始数据在文件系统（HDFS，BOS，AFS）中的场景，数据量在几十到百GB 级别。指定导入的format的一些参数。
Apache Doris 入门教程10：数据导入之Broker Load
sunjian286的专栏
07-12 1249
本文介绍如何在Apache Doris中使用Broker Load方式导入数据
StarRocks调优 - Broker Load导入
非典型性程序猿
01-19 3873
本文介绍了StarRocks的Broker Load导入方式，并进行了简单的测试与调优。
Doris 数据导入-Broker Load
TRX的博客
07-09 9710
d
Doris BE 配置中文描述
gaofeng的博客
06-11 4641
be配置-有道云链接 摘自社区张家锋老师翻译，感谢锋哥的贡献，我也会不断完善配置说明 BE 配置项 该文档主要介绍 BE 的相关配置项。 BE 的配置文件 be.conf 通常存放在 BE 部署路径的 conf/ 目录下。 而在 0.14 版本中会引入另一个配置文件 be_custom.conf。该配置文件用于记录用户在运行是动态配置并持久化的配置项。 BE 进程启动后，会先读取 be.conf 中的配置项，之后再读取 be_custom.conf 中的配置项。be_custom.conf 中的配置项会覆盖
Apache Doris的Broker Load数据导入使用
weixin_42326851的博客
05-16 2229
Apache Doris的Broker Load数据导入使用
第3.7章：StarRocks数据导入--Broker Load
流木的博客
02-22 8238
一、Broker Load背景 基于Hadoop生态的传统数仓目前仍拥有非常大的用户群体，为此StarRocks加入了Broker Load导入方式，让我们可以方便的从HDFS类的外部存储系统（Apache HDFS、阿里OSS、腾讯COS、百度BOS、Amazon S3等）中导入数据，高效的完成数据迁移工作。 因为一些历史原因，我们需要使用Broker组件来协助进行Broker Load。Broker是一个独立的无状态进程，封装了文件系统接口，为StarRocks提供读取远端存储系统中文件的能力。通过
doris：Broker Load
qq_36070104的博客
01-22 1708
doris：Broker Load
Doris系列13-数据导入之Routine Load
只是甲的博客
01-11 1932
文章目录一. Routine Load 概述二. Kafka 例行导入2.1 创建例行导入任务2.1.1 columns_mapping2.1.2 where_predicates2.1.3 desired_concurrent_number2.1.4 max_batch_interval/max_batch_rows/max_batch_size2.1.5 max_error_number2.1.6 data_source_properties2.1.7 strict_mode2.1.8 merge_ty
Doris专题14- 数据导入-Routine Load
最新发布
weixin_44999258的博客
10-11 707
Routine Load 是 Apache Doris 提供的流式数据导入方式，用于持续消费 Kafka Topic 中的数据。
doris hdfs load与broker load参数对比
weixin_43581113的博客
03-19 537
doris1.2 默认支持broker load。2.1 2.0默认支持hdfs load。broker load参数如下。hdfs load参数如下。建议用hdfs load。
doris基本操作，03-导入数据-Broker Load
车前猛跑
12-24 908
Broker load 是异步导入方式，支持的数据源取决于 Broker 进程支持的数据源。因为 Doris 表里的数据是有序的，所以 Broker load 在导入数据的时是要利用doris 集群资源对数据进行排序，相对于 Spark load 来完成海量历史数据迁移，对 Doris 的集群资源占用要比较大，这种方式是在用户没有 Spark 这种计算资源的情况下使用，如果有 Spark 计算资源建议使用 Spark load。
Apache Doris的Broker load数据导入使用
Bulut0907
05-24 1875
目录1. 使用场景2. 导入基本原理3. 导入基本语法4. 导入操作5. 导入结果6. 取消导入7. fe.conf参数配置 1. 使用场景 Broker load是一种异步导入方式，目前能从HDFS导入数据。导入数据量级别为百GB 2. 导入基本原理 用户在提交导入任务后，FE 会生成对应的Plan并根据目前BE的个数和文件的大小，将Plan分给多个BE执行，每个BE执行一部分导入数据。 BE在执行的过程中会从Broker拉取数据，在对数据transform之后将数据导入系统。所有BE均完成导入，由FE最
Doris “_stream_load“ 方式批量导入数据
liuwei0376的专栏
06-10 2545
xx
Doris BrokerLoad报错 Scan bytes per broker scanner exceed limit: 3221225472
gaofeng的博客
08-17 1888
brokerLoad语句 LOAD LABEL gaofeng_broker_load_HDD ( DATA INFILE("hdfs://eoop/user/coue_data/hive_db/couta_test/ader_lal_offline_0813_1/*") INTO TABLE ads_user ) WITH BROKER "hdfs_broker" ( "dfs.nameservices"="eadhadoop", "dfs.ha.namenodes
Doris：部署Broker
程裕强的专栏
08-31 1661
如果机器有多个IP，需要配置priority_networks 1、启动Broker [root@node1 ~]# cd /app/doris-0.14.13/apache_hdfs_broker/ [root@node1 apache_hdfs_broker]# sh bin/start_broker.sh --daemon [root@node1 apache_hdfs_broker]# jps 10400 PaloFe 12744 Worker 14153 BrokerBootstrap 12249
doris之Broker Load的配置和注意事项
qq_43688472的博客
01-20 2196
doris之Broker Load的配置和注意事项
Doris系列12-数据导入之Broker Load
只是甲的博客
01-10 1526
文章目录一. Broker Load 概述二. 基本操作2.1 创建导入2.1.1 Label2.1.2 数据描述类参数2.1.3 导入作业参数2.1.4 strict mode 与 source data 的导入关系2.2 查看导入2.3 取消导入三. 相关系统配置3.1 FE 配置四. 案例4.1 导入Hive orc格式表4.2 导入Hive text格式表参考: 一. Broker Load 概述 Broker load 是一个异步的导入方式，支持的数据源取决于 Broker 进程支持的数据源。 用
Doris FE配置中文描述
gaofeng的博客
06-11 3933
fe配置-有道云链接 摘自社区张家锋老师翻译，感谢锋哥的贡献，我也会不断完善配置说明 Doris FE配置参数 该文档主要介绍 FE 的相关配置项。 FE 的配置文件 fe.conf 通常存放在 FE 部署路径的 conf/ 目录下。 而在 0.14 版本中会引入另一个配置文件 fe_custom.conf。该配置文件用于记录用户在运行是动态配置并持久化的配置项。 FE 进程启动后，会先读取 fe.conf 中的配置项，之后再读取 fe_custom.conf 中的配置项。fe_custom.conf 中.
Doris 支持哪些数据导入方式？
08-16
Apache Doris 提供了多种数据导入方法，以满足不同场景下的数据处理需求。这些方法包括从外部存储系统、本地文件、消息队列以及外部业务系统数据库导入数据。以下是 Doris 支持的主要数据导入方式及其特点： 1. **从外部存储系统导入** Doris 支持直接从 HDFS 或对象存储中导入数据，适用于大规模数据处理场景。例如，使用 Broker Load 可以从 HDFS 中导入 CSV 文件，同时支持 HDFS HA 模式，确保高可用性。 示例代码如下： ```sql LOAD LABEL test.broker_2 ( DATA INFILE("hdfs://test01:8020/student.csv") INTO TABLE `broker_test` COLUMNS TERMINATED BY "," FORMAT AS "csv" (id, name, age) ) WITH BROKER broker_name ( "dfs.nameservices" = "my_cluster", "dfs.ha.namenodes.my_cluster" = "nn1,nn2,nn3", "dfs.namenode.rpc-address.my_cluster.nn1" = "test01:8020", ... ) PROPERTIES ( "timeout" = "3600" ); ``` 该方法支持多种 CSV 格式参数，如行分隔符、列分隔符、包围符、转义符等，能够灵活处理不同格式的数据文件[^4]。 2. **从本地文件导入** 对于数据量较小或需要快速导入的场景，Doris 支持直接从本地文件中导入数据。这种方式通常通过 Stream Load 实现，适用于单次导入任务。 示例命令如下： ```bash curl --location-trusted -u root -H "label: demo_label" -H "column_separator:," -H "columns: id,name,age" -H "format: csv" -T data.csv http://doris_host:8030/api/demo_db/demo_table/_stream_load ``` 该方式支持 CSV 格式的多种参数配置，如压缩格式、跳过行数、裁剪双引号等[^5]。 3. **通过消息队列导入** Doris 支持通过 Kafka 等消息队列进行数据导入，适用于实时数据处理场景。使用 Routine Load 可以创建常驻的导入任务，持续从 Kafka 读取数据并导入 Doris。 示例代码如下： ```sql CREATE ROUTINE LOAD demo_db.kafka_demo_csv ON demo_table COLUMNS TERMINATED BY ",", COLUMNS(id,name,age) PROPERTIES ( "desired_concurrent_number"="10", "strict_mode" = "true" ) FROM KAFKA ( "kafka_broker_list" = "Kafka实例IP:9092", "kafka_topic" = "demo-topic", ... ); ``` 该方式支持异步导入，适合高并发、低延迟的数据处理需求[^3]。 4. **从外部业务系统数据库导入** Doris 支持从 MySQL、Oracle、SQL Server、PostgreSQL 等数据库导入数据，使得可以从现有系统中迁移数据到 Doris，无需重新生成或转换数据格式。这种方式通常通过 MySQL Load 或 Broker Load 实现，能够直接连接数据库并导入数据[^2]。 5. **同步与异步导入方式** Doris 提供了同步和异步两种导入方式，以满足不同性能和一致性需求。同步导入会阻塞直到数据完全导入，适用于对数据一致性要求较高的场景。异步导入则允许在后台进行，不会阻塞其他操作，适合大规模数据导入或实时数据处理场景[^2]。 6. **其他导入方式** Doris 还支持 TVF（表值函数）方式导入数据，适用于从外部系统查询并导入数据的场景。TVF 支持 SQL 查询结果直接作为数据源导入 Doris，提供了更高的灵活性[^5]。 ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值