Doris导入数据错误success replica num is 1 ＜ quorum replica num 2 while error backends

原创 已于 2022-04-16 13:43:31 修改 · 6.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #big data

于 2022-04-16 11:42:57 首次发布
当Doris导入大量数据时遇到错误，通过官方文档了解到min_replication_num_per_tablet的重要性。博主发现报错为successreplicanumis1<quorumreplicanum2whileerrorbackends，调整配置为3解决了问题。

1. Doris导入几十万条数据时，部分数据成功，查看FE日志报以下错误

success replica num is 1 < quorum replica num 2 while error backends

2. 查看官方文档

min_replication_num_per_tablet默认值是1，结果集较大时，可能需要增大该值

3. 此时这样登录FE服务器 修改fe.conf 文件 添加 min_replication_num_per_tablet = 3

设置多少取决于报错的时候是多少，我这里报错是2，所以我设置3，问题就得到解决

【Kafka】kafka replication factor : 3 larger than avaiable brokers:2
九师兄
09-02 1816
1.背景 在 问题 【Kafka】Kafka 奇怪问题之无法用Java 客户端消费 这里不是写了一个java消费的客户端吗，去消费，然后消费的时候报错这个，在kafka日志中看到如下错误，但是后来可以正常消费了 ...
Doris 数据集成 Kafka
热门推荐
04-26 7万+
这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。
Doris入门篇-分区分桶实验
S1124654的博客
03-02 5204
Doris入门篇-分区分桶实验
Doris备份与恢复：在恢复时指定副本数
最新发布
学亮编程手记
10-28 176
根本原因：备份数据的副本配置与新集群的 BE 节点数量不匹配解决方案：在RESTORE命令的PROPERTIES中添加验证方法：恢复后检查SHOW DATA和表属性最佳实践：跨集群恢复时总是明确指定副本数。
【Error】Error while executing topic command : Replication factor: 1 larger than available brokers: 0
HR的博客
12-30 2702
今天在使用Kafka创建topic时，出现了以下一个错误 【Error】Error while executing topic command : Replication factor: 1 larger than available brokers: 0 提示我broker少于副本数，可是明明有三个broker并且只设置了2个replication 我们可以使用下列命令去zookeeper中查看启动了了几台broker {zookeeper_home}/bin/zkCli.sh 使用ls /broke
doris 最小写入副本数 说明
u011250186的博客
07-18 1301
doris 最小写入副本数
Doris创建表报错
MyfishCake的博客
04-07 8336
Doris建表异常
2. Doris数据导入与导出
cl2010abc的专栏
01-13 1520
之所以引入 Broker 进程，主要是用来针对不同的远程存储系统，用户可以按照 Broker 进程的标准开发其相应的 Broker 进程，Broker 进程可以使用 Java 程序开发，更好的兼容大数据生态中的各类存储系统。用户在提交导入任务后，FE 会生成对应的 Plan 并根据目前 BE 的个数和文件的大小，将 Plan 分给 多个 BE 执行，每个 BE 执行一部分导入数据。一个 Routine Load Task 提交后，会继续生成新的 Task，或对超时的 Task 进行重试。
Failed to commit txn 24329076. Tablet [23313526] success replica num 1 is le
10-17
Tablet [23313526] success replica num 1`. 错误信息表明，在提交事务时，Tablet 23313526 的成功副本数量为1，但所需的法定副本数（quorum）大于1，因此提交失败。 结合引用[1]和[2]，我们可以分析可能的原因和...
【Doris基础】Doris中的Replica详解：Replica原理、架构
IT成长日记的博客
05-31 1568
Doris的副本管理系统是其高可用和高性能的基石。通过深入理解副本的创建、同步、恢复和均衡机制，管理员可以更好地规划集群部署、优化性能参数，并有效处理各种异常情况。合理的副本配置不仅能保障数据安全，还能显著提升查询性能，是Doris集群调优的关键环节。Apache Doris作为一个MPP架构的分析型数据库，通过多副本机制来实现数据的高可用和负载均衡。Doris采用分片(Tablet)作为数据分布的基本单位，每个Tablet会有多个副本分布在不同的节点上。
Doris数据导入
asdasdsaff的博客
10-27 1556
Doris高度兼容MySQL语法，但不建议在生产环境中使用 INSERT INTO VALUES插入数据。以下将记录通过外部表Multi-Catalog及Routine Load两种方式进行数据导入。使用外部表Multi-Catalog可以通过INSERT INTO SELECT的方式导入外部表数据，将以PostgreSQL为例。Routine Load 导入方式则是持续消费 Kafka Topic 中的数据，它是一个流式导入作业，支持 Exactly-Once 语义，保证数据不丢不重。
doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).
weixin_43581113的博客
01-24 5517
doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000). 因为 where in (list) list太长 可以用多个or拼接
【Apache Doris】数据副本问题排查指南
ith321的博客
07-21 2291
【Apache Doris】数据副本问题排查指南
Doris删库元数据删除怎么办？紧急恢复单副本情况
S1124654的博客
10-20 1706
Doris删库了怎么办？干就完事了
redis集群搭建踩坑指南
Arrogant_95的博客
12-25 1333
最近在网上一台服务器上搭建了一个3主3从的redis集群，在这记录一下搭建过程中的踩坑过程。 先贴出参考的博客： https://blog.csdn.net/pistolove/article/details/58298755 https://www.cnblogs.com/jasonZh/p/9547079.html 坑1：版本不够，想要搭建redis集群需要redis版本足够，然后ruby版本...
重复问题,解决方法!
龙卷风(2007)
01-12 1976
原贴:http://community.csdn.net/Expert/topic/3717/3717577.xml?temp=.4141199有这样的一张表(有三列a、b、c)：a      b      c  1     two    20031     two    20051     two    20042     four   20063     four   2008现在我想把a、b
【Apache Doris】周FAQ集锦：第 9 期
ith321的博客
06-30 2194
【Apache Doris】周FAQ集锦：第 9 期
replication factor:2 larger than available bokers:1(两个副本只有一个节点)
weixin_45631366的博客
05-13 891
错误信息： A broker is already registered on the path /brokers/ids/0. ` This probably indicates that you either have configured a brokerid that is already in use, or else you have shutdown this broker an...
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值