记录一次线上的文件描述符泄露问题

最新推荐文章于 2024-09-05 20:15:09 发布

scugxl

最新推荐文章于 2024-09-05 20:15:09 发布

阅读量334

点赞数 1

CC 4.0 BY-SA版权

分类专栏：择维士技术分享 linux 文章标签：监控 AI监控择维士

本文链接：https://blog.youkuaiyun.com/scugxl/article/details/126284411

择维士同时被 3 个专栏收录

15 篇文章

订阅专栏

技术分享

14 篇文章

订阅专栏

linux

11 篇文章

订阅专栏

本文记录了一次线上服务进程文件句柄持续增长的问题分析过程。通过监控产品中查找相似性的功能，定位到文件系统相关的原因，并最终确定为kafkastream的PersistentStore未正确关闭迭代器导致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文最开始发表于择维士社区
本文记录了一次线上文件描述符异常问题的分析过程以及方法.

起因

某天,在查看系统资源时,发现我们的核心后台backend服务进程文件句柄一直在缓慢增长如下图:

如上图左下角所示,过去一周文件句柄一直在缓慢规律的增加当中.

调查

因为文件句柄一直在缓慢增长中,那么一般有如下2种情况:

文件流没有关闭
Socket没有关闭

本来想直接上BTrace来调查(之前也调查过类似的问题记录一次TCP连接异常问题使用btrace),但是毕竟还要写脚本,有没有更简单的办法呢?

想起来我们的监控产品中有查找相似性的功能,或许能找到些蛛丝马迹:
原始数据:
在这里插入图片描述

AI找到的相似的数据1:
AI1

AI找到的相似的数据2:
在这里插入图片描述

从上面来看就比较明显了,大概率是文件系统相关造成的句柄泄露.

那么登录容器(backend服务在容器内运行), 执行(7是进程ID):

ls -l /proc/7/fd > fd.txt

然后查看fd.txt,发现有很多如下的记录:

lr-x------ 1 root root 64 Aug  8 08:13 615 -> /data/alert-evaluator/0_2/rocksdb/alertState/000636.sst
lr-x------ 1 root root 64 Aug  8 08:13 616 -> /data/alert-evaluator/0_2/rocksdb/recentNStore/000476.sst
lr-x------ 1 root root 64 Aug  8 08:13 617 -> /data/alert-evaluator/0_2/rocksdb/alertState/000624.sst
lr-x------ 1 root root 64 Aug  8 08:13 618 -> /data/alert-evaluator/0_2/rocksdb/alertState/000625.sst
lr-x------ 1 root root 64 Aug  8 08:13 619 -> /data/alert-evaluator/0_2/rocksdb/alertState/000657.sst
lrwx------ 1 root root 64 Aug  8 08:13 62 -> anon_inode:[eventpoll]
lr-x------ 1 root root 64 Aug  8 08:13 620 -> /data/alert-evaluator/0_2/rocksdb/alertState/000629.sst
lrwx------ 1 root root 64 Aug  8 08:13 621 -> socket:[2715092561]
lr-x------ 1 root root 64 Aug  8 08:13 622 -> /data/alert-evaluator/0_2/rocksdb/alertState/000628.sst
lr-x------ 1 root root 64 Aug  8 08:13 623 -> /data/alert-evaluator/0_2/rocksdb/alertState/000630.sst
lr-x------ 1 root root 64 Aug  8 08:13 624 -> /data/alert-evaluator/0_2/rocksdb/alertState/000634.sst
lr-x------ 1 root root 64 Aug  8 08:13 625 -> /data/alert-evaluator/0_2/rocksdb/alertState/000637.sst
lr-x------ 1 root root 64 Aug  8 08:13 626 -> /data/alert-evaluator/0_2/rocksdb/recentNStore/000480.sst
lr-x------ 1 root root 64 Aug  8 08:13 627 -> /data/alert-evaluator/0_2/rocksdb/alertState/000632.sst

该文件是kafka stream的persistent store的数据文件,最终定位下来是使用的KeyValueStore的Iterator是需要关闭的:

 try (KeyValueIterator<String, byte[]> iterator = recentNStore.all()) {
        ....
}

总结

在遇到不同寻常的数据时,往往会关联其他数据也出现异常,而且很有可能有相似的模式,而AI非常适合来找到这些隐藏的关联来辅助我们定位和发现问题从而节约开发定位问题的时间.

广告时间:
择维士提供的数据监控产品支持如下的AI功能:

预测: 预测未来一段时间的数据. 比如磁盘占用.
相关性: 发现与选定数据模式高度匹配的数据. 用来问题关联分析.
异常数据: 自动发现当前系统中的可能异常的数据. 并推送通知.