Doris导入数据错误success replica num is 1 ＜ quorum replica num 2 while error backends

原创 已于 2022-04-16 13:43:31 修改 · 6.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #big data

于 2022-04-16 11:42:57 首次发布
当Doris导入大量数据时遇到错误，通过官方文档了解到min_replication_num_per_tablet的重要性。博主发现报错为successreplicanumis1<quorumreplicanum2whileerrorbackends，调整配置为3解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. Doris导入几十万条数据时，部分数据成功，查看FE日志报以下错误

success replica num is 1 < quorum replica num 2 while error backends

2. 查看官方文档

min_replication_num_per_tablet默认值是1，结果集较大时，可能需要增大该值

3. 此时这样登录FE服务器 修改fe.conf 文件 添加 min_replication_num_per_tablet = 3

设置多少取决于报错的时候是多少，我这里报错是2，所以我设置3，问题就得到解决

Doris 数据集成 Kafka
04-26 7万+
这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。
Doris 数据集成 Apache Hudi
08-06 1万+
对于 Hudi COW 表的查询或者 MOR 表的 Read Optimized 查询而言，其数据都属于基线数据，可直接通过 Doris 原生的 Parquet Reader 读取数据文件，且可获得极速的查询响应。作为一种全新的开放式的数据管理架构，湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用。语句来查看一个下方示例的查询中，分别有多少基线数据和增量数据。
redis集群搭建踩坑指南
Arrogant_95的博客
12-25 1247
最近在网上一台服务器上搭建了一个3主3从的redis集群，在这记录一下搭建过程中的踩坑过程。 先贴出参考的博客： https://blog.csdn.net/pistolove/article/details/58298755 https://www.cnblogs.com/jasonZh/p/9547079.html 坑1：版本不够，想要搭建redis集群需要redis版本足够，然后ruby版本...
实时数据仓库 Doris
weixin_50258212的博客
05-19 1144
不当菜狗。微信找到我：Ltong-520_1314
doris 最小写入副本数 说明
u011250186的博客
07-18 1028
doris 最小写入副本数
Doris创建表报错
MyfishCake的博客
04-07 8010
Doris建表异常
doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).
weixin_43581113的博客
01-24 5365
doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000). 因为 where in (list) list太长 可以用多个or拼接
【Apache Doris】数据副本问题排查指南
ith321的博客
07-21 1791
【Apache Doris】数据副本问题排查指南
doris：JSON导入数据
qq_36070104的博客
01-25 1275
doris：JSON导入数据
doris:Kafka 导入数据
qq_36070104的博客
01-17 1487
doris:Kafka 导入数据
Doris 数据集成 Apache Paimon
热门推荐
08-06 1万+
对于基线数据来说，Apache Paimon 在 0.6 版本中引入 Primary Key Table Read Optimized 功能后，使得查询引擎可以直接访问底层的 Parquet/ORC 文件，大幅提升了基线数据的读取效率。Apache Paimon 是一种数据湖格式，并创新性地将数据湖格式和 LSM 结构的优势相结合，成功将高效的实时流更新能力引入数据湖架构中，这使得 Paimon 能够实现数据的高效管理和实时分析，为构建实时湖仓架构提供了强大的支撑。
Doris删库元数据删除怎么办？紧急恢复单副本情况
S1124654的博客
10-20 1535
Doris删库了怎么办？干就完事了
【Apache Doris】周FAQ集锦：第 9 期
ith321的博客
06-30 2046
【Apache Doris】周FAQ集锦：第 9 期
replication factor:2 larger than available bokers:1(两个副本只有一个节点)
weixin_45631366的博客
05-13 856
错误信息： A broker is already registered on the path /brokers/ids/0. ` This probably indicates that you either have configured a brokerid that is already in use, or else you have shutdown this broker an...
Doris 的建表和数据划分
TRX的博客
07-09 1万+
基本概念 Row & Column 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。从聚合模型的角度来说，Key 列相同的行，会聚合成一行。其中 Value 列的聚合方式由用户在建表时指定。更多：参阅Doris 数据模型。 Tablet & Partition 在 Doris 的存储引擎中，用户.
Doris入门篇-分区分桶实验
S1124654的博客
03-02 5041
Doris入门篇-分区分桶实验
Mysql：配置replication——复制的应用方案
weixin_34067980的博客
06-22 300
16.2. Replication Solutions Replication can be used in many different environments for a range of purposes. In this section you will find general notes and advice on using replication f...
【Kafka】kafka replication factor : 3 larger than avaiable brokers:2
九师兄
09-02 1790
1.背景 在 问题 【Kafka】Kafka 奇怪问题之无法用Java 客户端消费 这里不是写了一个java消费的客户端吗，去消费，然后消费的时候报错这个，在kafka日志中看到如下错误，但是后来可以正常消费了 ...
doris导入数据
最新发布
06-28
<think>首先，用户的问题是关于在Doris数据库中导入数据的。用户说：“我想将数据导入到Doris数据库请问如何在Doris中导入数据数据导入方法 Doris”。这看起来是用户的需求：如何导入数据到Doris。 系统级指令：-所有行内数学表达式必须使用$...$格式。但在这个上下文中，可能不涉及数学表达式，所以我可以忽略，除非有相关部分。 -独立公式必须使用$$...$$并单独成段。同样，可能不适用。- LaTeX语法正确：确保在数学表达式中使用正确。 -使用中文回答：整个回答必须用中文。 -生成相关问题：在回答结束时生成相关问题。-回答中引用的段落末尾自然地添加引用标识，例如[^1]。参考提供的引用：[^1],[^2],[^3]。这些是关于Doris数据导入的引用。 用户可见层指令：-回答结构清晰，帮助用户逐步解决问题。 -尽量保证回答真实可靠。 提供的引用内容： -[^1]:关于Broker Load方式导入数据。 -[^2]:关于RoutineLoad方式，使用Kafka导入数据。 -[^3]:关于JSON格式导入数据。 用户的问题是基于这些引用，但引用是站内的，我需要参考它们来回答问题。用户说：“上述引用仅供参考，并不是用户真正的需求”，所以我应该专注于用户的问题：如何在Doris中导入数据。用户的具体问题：如何在Doris中导入数据？数据导入方法。从引用中，我知道Doris提供了多种导入方式： -BrokerLoad- RoutineLoad-还有其他方式如StreamLoad等。 引用[1]提到Doris有6种不同的导入方式：Broker Load是其中之一。引用[2]是关于Routine Load，使用Kafka。引用[3]是关于JSON导入支持。 系统指令说：“请尽可能多的参考用户上一次的问题和你的回答。”但这是用户的第一个消息，所以没有上一次问题。用户说：“我想将数据导入到Doris数据库”，这是初始查询。 我的回答结构： -结构清晰，逐步解决问题。 -先介绍Doris数据导入的概述。-然后描述不同的导入方式。 -提供示例或步骤。 -结束时生成相关问题。 步骤： 1. **介绍Doris数据导入**：简要解释Doris支持多种导入方式，以适应不同数据源和需求。 2. **列出导入方式**：基于引用，Doris有6种方式，但引用中提到了BrokerLoad、RoutineLoad，以及JSON支持。-常见的导入方式包括：-Stream Load：用于实时导入小量数据。-Broker Load：用于批量导入大数据，支持多种数据源如HDFS。-Routine Load：用于持续从消息队列如Kafka导入数据。-其他方式如INSERTINTO等。 3. **详细描述每种方式**：-对于每种方式，简要说明其适用场景和使用方法。-使用引用中的信息：例如，引用[2]有RoutineLoad的SQL示例。4.**提供示例**：如引用[2]中的Routine Load创建语句。5.**添加引用标识**：在引用段落末尾添加[^1],[^2],[^3]。 6. **生成相关问题**：在结束时，类似示例，列出相关问题。生成的相关问题：-例如：1.如何选择适合的Doris数据导入方式？2.Doris导入数据时如何优化性能？3.Doris支持哪些数据格式导入？4.如何处理导入过程中的错误？ 确保回答真实可靠：基于提供的引用和一般知识。引用是可靠的，因为是站内引用。 最终回答用中文。</think>### Doris数据库数据导入方法详解 在Doris中导入数据是将外部数据源（如文件、消息队列或数据库）加载到Doris表的过程，以便用户通过SQL查询和分析数据。Doris提供了多种导入方式，适应不同场景（如批量导入、实时流式导入或特定格式支持）。以下我将基于Doris官方文档和实践经验，逐步介绍主要导入方法、使用步骤和示例。Doris支持6种核心导入方式，包括异步和同步模式，您可以根据数据源类型、数据量和性能需求选择合适的方法[^1]。 #### 1. **常见导入方式概述** - **Broker Load**：适用于批量导入大数据（如TB级），支持从HDFS、S3等分布式存储导入CSV、Parquet等格式。它是异步操作，适合离线数据迁移。 - **Routine Load**：用于持续流式导入，从消息队列（如Kafka）实时加载数据。支持CSV或JSON格式，通过后台任务自动消费消息。 - **Stream Load**：实时同步导入小批量数据（如MB级），通过HTTP协议直接上传文件或数据流。常用于API调用或实时ETL。 - **INSERT INTO**：通过SQL语句直接插入数据，适合小规模数据或测试场景。 - **其他方式**：如S3 TVF（从AWS S3导入）或HDFS TVF（从HDFS导入），支持JSON等特定格式[^3]。 选择建议： - 大数据量批量导入：优先使用Broker Load。 - 实时流数据：选择Routine Load（如Kafka源）。 - 小数据或测试：Stream Load或INSERT INTO更简便。 #### 2. **详细导入步骤与示例** 以下是常用方法的操作步骤，基于Doris语法和最佳实践。确保您已创建目标表（如`demo_db.demo_table`）。 **方法一：Broker Load（批量导入）** - **适用场景**：从HDFS、S3导入CSV/Parquet文件。 - **步骤**： 1. 准备数据文件（如`data.csv`），上传到HDFS或S3。 2. 执行SQL命令创建导入作业。示例： ```sql LOAD LABEL demo_db.label_example -- 定义作业标签 ( DATA INFILE("hdfs://path/to/data.csv") -- 数据源路径 INTO TABLE demo_table COLUMNS TERMINATED BY "," -- 列分隔符 FORMAT AS "CSV" ) WITH BROKER "broker_name" -- 指定Broker名称 PROPERTIES ( "timeout" = "3600" -- 超时时间（秒） ); ``` 3. 检查状态：`SHOW LOAD WHERE LABEL = 'label_example';`，状态为`FINISHED`表示成功。 - 优点：高效处理海量数据，支持错误容忍[^1]。 **方法二：Routine Load（Kafka流式导入）** - **适用场景**：持续从Kafka导入实时数据（如日志或事件流）。 - **步骤**： 1. 创建Routine Load作业，指定Kafka配置。示例（参考引用[2]）： ```sql CREATE ROUTINE LOAD demo_db.kafka_demo_csv ON demo_table COLUMNS TERMINATED BY ",", -- 列分隔符 COLUMNS(id, name, age) -- 目标表列映射 PROPERTIES ( "desired_concurrent_number" = "10", -- 并发任务数 "strict_mode" = "true" -- 严格模式校验 ) FROM KAFKA ( "kafka_broker_list" = "Kafka实例IP:9092", -- Kafka地址 "kafka_topic" = "demo-topic", -- Topic名称 "property.group.id" = "demo-group", -- 消费者组 "property.kafka_default_offsets" = "OFFSET_BEGINNING" -- 从起始偏移量消费 ); ``` 2. 向Kafka发送数据（如使用Java生产者）： ```java kafkaProducer.send("demo-topic", "1,张三,30"); // 发送CSV格式消息 ``` 3. 监控作业：`SHOW ROUTINE LOAD FOR kafka_demo_csv;`，查看任务状态和错误日志[^2]。 - 优点：自动容错，支持Exactly-Once语义。 **方法三：Stream Load（HTTP实时导入）** - **适用场景**：快速导入小文件或API数据。 - **步骤**： 1. 使用curl或编程语言发送HTTP请求。示例（导入CSV文件）： ```bash curl --location-trusted -u user:password \ -H "label:stream_load_example" \ -H "column_separator:," \ -T /path/to/data.csv \ http://Doris_FE_IP:8030/api/demo_db/demo_table/_stream_load ``` 2. 响应中检查`Status: Success`表示导入完成。 - 优点：简单快捷，适合实时场景。 **方法四：JSON格式导入** - **适用场景**：导入JSON数据（如API响应或日志）。 - **支持方式**：Stream Load、Broker Load、Routine Load均兼容JSON[^3]。 - **示例（Stream Load导入JSON）**： ```bash curl --location-trusted -u user:password \ -H "format: json" \ -H "strip_outer_array: true" \ # 处理JSON数组 -T data.json \ http://Doris_FE_IP:8030/api/demo_db/demo_table/_stream_load ``` - 确保JSON格式匹配表结构。 #### 3. **通用注意事项** - **性能优化**：调整`desired_concurrent_number`（并发数）或`max_batch_interval`（批处理间隔）提升吞吐量[^2]。 - **错误处理**：使用`SHOW LOAD WARNINGS;`查看导入错误，并在PROPERTIES中设置`max_filter_ratio`容忍部分错误。 - **数据格式**：支持CSV、JSON、Parquet等；确保分隔符和编码一致。 - **监控**：通过Doris Web UI或SQL命令（如`SHOW LOAD;`）跟踪作业状态。 - **最佳实践**：测试环境验证后上线；大数据导入分批进行以避免资源竞争。 如果遇到问题，参考[Doris官方文档](https://doris.apache.org/zh-CN/docs/data-operate/import)或社区资源。导入成功后，即可用MySQL客户端查询数据验证[^1]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值