Doris Fe集群出现元数据不断变大的原因

最新推荐文章于 2025-03-12 11:29:31 发布
最新推荐文章于 2025-03-12 11:29:31 发布
阅读量626 收藏 4
点赞数 5
分类专栏： 大数据 文章标签： doris
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/k7gxn56/article/details/143710845
版权

环境描述

三台机器，操作系统是CentOS 7.6 每台 CPU8核，硬盘 / 80G /data 500G，

Doris版本是 2.1.5,安装在/opt 目录下面，也就是 80G的目录下面，但是数据文件通过软链的形式存储在/data下面

SHOW PROC '/frontends';的结果如下所示

上面存储的数据比较简单，就是物联网设备每秒钟采集的数据会被同事收集到其他的mysql库中，通过数据可以看到哪些设备近10分钟内活着，且设备采集过来的数据是否要触发告警等，有2个工厂就有2个一样的库，库的数据还会增加，但是大屏那边需要看到合在一起的数据，每个库中的主键ID会重复，于是就将数据去掉主键ID后同步到Doris中，然后对数据做一些业务员逻辑。

1、表现出来的情况

1) 如上图中的显示，有两台FE一起正常运行的，但是有Socket is closed by peer.的报错信息，其实都没有成功加入到集群，这两台机器通过8030打开其WebUI都看不到主节点能显示的数据库。

2) 主节点机器FE中的doris-meta目录的磁盘占用不断升高，导致磁盘写满

3) 经常出现tablet数据丢失，报错信息一直打印导致日志文件占用磁盘也很大

2、查找原因

通过查找主

最低0.47元/天 解锁文章
apache doris部署添加be节点失败“ErrMsg: java.net.SocketTimeoutException: connect timed out“
JustinMars的博客
09-20 540
Doris部署报错
Apache IoTDB 客户端连不上服务器： Socket is closed by peer
乔的博客
11-26 3976
问题 Can not establish connection with jdbc:iotdb://127.0.0.1:6667/ : Socket is closed by peer… Host is 127.0.0.1, port is 6667. 原因 用 0.10 的客户端连接 0.11 的服务器会报这个问题，客户端和服务器版本不匹配。 目前，客户端和服务器需要同版本，0.8，0.9，0.10，0.11之间不互相兼容。。 ...
Doris磁盘均衡问题深度解析
最新发布
先生一笑而起 渺海阔而天高
03-12 337
在Doris集群运维中，磁盘均衡是保证数据高效存储和查询性能的关键。然而，由于数据分布不均、参数配置不当或环境异常，磁盘不均衡问题时有发生。本文将深入解析Doris磁盘均衡的优化方法、排查流程及常见问题解决方案，助你快速定位并解决问题。
Doris扩容节点报错 It conflicts with the socket already used by the member
gaofeng的博客
10-14 1401
背景 我这个node1节点之前是observer，然后我把他drop observer了，然后重新清空meta，helper启动，add FOLLOWER后这个节点日志结果说我新添加的FOLLOWER的ROLE文件的时间戳conflict了， 然后重新添加也不行 版本是0.14.13.1 报错 fe.log报错 com.sleepycat.je.rep.impl.RepGroupImpl$NodeConflictException: (JE 7.3.7) New or moved node:node1_90
Doris FE内存占用持续上升直至无法使用
自律给我自由
10-12 1242
然后找Doris官方文档，发现频繁refresh catalog xxx 会强制使对象相关的Cache失效，默认开启的采样也比较耗费资源，然后就将代码中refresh catalog全部注释掉，在fe.conf中添加重启FE后观察了一下午，内存持续增长的问题没有再出现了。此解决方案应该不能通用的解决所有FE使用内存持续上升的问题，仅将我自己遇到解决的方式记录下来，不保证能解决你的问题，如果刚好也能解决那时最好。
doris的be节点buff/cache 持续增大问题
sunxunyong的博客
09-23 340
Linux命令手动清除缓存echo 3 ＞ /proc/sys/vm/drop_caches。doris有大量的IO，系统缓存持续增长，系统缓存本身是能用尽用，内存不足时会自己释放！doris的be节点buff/cache 持续增大！
Doris解决磁盘高占用
gaofeng的博客
12-21 2907
问题 有个Doris集群的磁盘占用比较高，一直在告警 需要清理be节点storage_root_path路径下的trash目录，但是清理了之后过一段时间又高很多，需要调整集群参数进行自动清理 分析 BE 配置：trash_file_expire_time_sec FE 配置：catalog_trash_expire_second fe的配置是加快进入 trash的时间 be的配置是trash里的数据过期时间 解决办法 调整BE参数，变小些 BE 配置：trash_file_expire_time_sec
Doris相关问题处理和异常处理
wangqiaowq的博客
08-23 2328
1、decimal 字段异常。
doris随着运行时间，fe 运行内存增加速率过快，严重占用集群内存
G1170779850的博客
04-26 2159
前几天遇到了doris 集群内存资源不足，使用top命令，发现fe占用内存过大一直不释放资源问题，本身集群服务器配置就低，严重影响doris使用。使用show processlist命令 发现sleep会话过多，集群默认的sleep会话释放时间是8个小时。于是进行了fe重启。两天后发现fe运行内存已经增加了8g多，通过查询资料，但是只见增加，不见变小，问了做java开发的同事，同事说程序像貔貅，只进不出，不会释放，将释放时间设置为5分钟，再检测fe增加速率，发现两周只增加了1g。
Apache Doris集群搭建（FE扩容）
程裕强的专栏
08-06 3278
参考官方文档http://doris.apache.org/master/zh-CN/installing/install-deploy.html#%E6%89%A9%E5%AE%B9%E7%BC%A9%E5%AE%B9 1、现有FE节点 前面博文已经介绍搭建了一个FE节点 [root@node3 fe]# sh bin/start_fe.sh --daemon [root@node3 fe]# jps 7234 Jps 7160 PaloFe [root@node3 fe]# [root@node3
学习·Apache Doris元数据管理
xd1753762376的博客
02-28 3813
记·Apache Doris元数据管理一、 关键词二、 整体架构三、 元数据内容四、 高可用元数据五、 元数据镜像存储 一、 关键词 FE、BE、bdbje FE Frontend，即 Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。 BE Backend，即 Doris 的后端节点。主要负责数据存储与管理、查询计划执行等工作。 bdbje 全称Oracle Berkeley DB Java Edition，在Doris 中，使用 bdbje 存放Dori
doris基于ccr跨集群实时同步方案附数据质量校验代码
weixin_39226456的博客
11-14 1419
针对跨集群数据迁移并时效性要求较高（要求数据毫秒级别延迟），搭建异地容灾集群，读写分离集群。如果是db级别的同步，则填入your_db_name，your_table_name为空。如果是表级别同步，则需要填入your_db_name，your_table_name。启动ccr服务报错提示需要glibc-2.28，glibc-2.32高版本。源，目标doris集群fe，be节点均需开启。name: CCR同步任务的名称，唯一即可。同步任务完成后，源，目标集群数据一致。
doris&clickhouse&spark的元数据解析
铁马冰河入梦
01-14 646
【代码】doris&clickhouse&spark的元数据解析。
Connection reset by peer的常见原因及解决办法
weixin_34034261的博客
05-11 3207
转自：https://blog.youkuaiyun.com/xc_zhou/article/details/80950753 1，如果一端的Socket被关闭（或主动关闭，或因为异常退出而 引起的关闭），另一端仍发送数据，发送的第一个数据包引发该异常(Connect reset by peer)。 Socket默认连接60秒，60秒之内没有进行心跳交互，即读写数据，就会自动关闭连接。 2，一端退...
Java调用Thrift接口时报错：org.apache.thrift.transport.TTransportException: Socket is closed by peer
Fight攻城狮
07-13 1万+
我首先检查了是否真的被我close了，经确认，并没有。 然后往上各种搜，最终发现是与服务端协议不同导致的，报错的代码是缺少下方红框中的代码，加上后就可以调通了。
Doris基础篇—安装部署
热门推荐
03-22 4万+
的命令，其实就是扩容，这里我们主要是想通过添加FE ，实现高可用，其实做法很简单，我们分发我们之前的FE 安装包，到我们需要安装的节点，然后按照之前FE 的配置进行配置，然后启动。FE：存储和维护集群的元数据，负责接收和解析用户的查询请求，规划查询计化，调度查询结果，FE主要分为三个角色：Leader、Follower、Observer。Doris的主要架构分为FE（frontend）、BE（backend）两个角色、两个进程，不依赖于外部的组件，极易部署、运维，FE和BE都有很好的拓展性。
Doris连接超时问题排查记录
bacawa的博客
06-14 1956
用错了Mysql客户端，导致Doris连接超时问题排查过程记录
doris数据磁盘空间释放的方式，包含数据垃圾清理、数据手动均衡、数据副本修改
Colin_8868的博客
08-20 1797
主要介绍和磁盘存储空间有关的系统参数和处理策略，Doris 的数据磁盘空间如果不加以控制，会因磁盘写满而导致进程挂掉。disk xxxxx on backend xxx exceed limit usage
doris元数据管理
01-03
### Doris 元数据管理机制 #### 1. 元数据的作用与范围 FE（Frontend）作为Doris集群的大脑，负责元数据管理和调度工作。元数据涵盖了数据库、表结构定义、分区信息以及索引详情等内容[^2]。 #### 2. 元数据同步方式 为了保障高可用性和一致性，在分布式环境下，FE之间会定期进行心跳检测并交换最新的元数据变更记录；当新加入或重启后的FE实例上线时，则需从其他正常工作的FE那里获取完整的最新状态副本以保持全局一致。 #### 3. Observer角色补充说明 值得注意的是，Observer节点虽然也属于FE的一部分，但它主要用于分担查询请求的压力而不涉及写入操作。这意味着它同样能够接收到来自主Leader FE广播过来的元数据更新通知，并据此调整自身的缓存内容来提供服务。 ```sql SHOW PROC '/frontends'; ``` 此命令可用于查看当前集群内所有前端节点的状态及其角色分配情况。 --- 对于想要深入了解具体某张表或者某个库下的对象属性而言： ```sql DESCRIBE database_name.table_name; ``` 上述SQL语句可以帮助用户快速掌握目标资源的关键配置参数，包括但不限于列名、类型、默认值设定等重要字段描述信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值