Kafka：java.io.IOException: Too many open files

零、错误日志

这个错误日志：

java.io.IOException: Too many open files

表示 Kafka 在尝试接收新连接时，由于操作系统限制“打开文件描述符（file descriptors）”数量而失败。每个网络连接、文件、socket 都会占用一个文件描述符，因此这是 Kafka 比较常见的系统资源瓶颈之一。

---

一、问题原因分析

Kafka 的每个客户端连接、broker 之间的连接、日志文件句柄都会占用文件描述符。当连接数量过多或日志文件非常多时，系统默认限制可能不够用，导致：

• 客户端连接失败
• Kafka Broker 接受连接失败（如本错误）
• 性能下降，间歇性不可用

---

二、解决方案

1. 检查当前系统打开文件数限制

ulimit -n

如果返回的是一个较小的数字（例如 1024 或 4096），通常不足以支持 Kafka。

查看 Kafka 启动用户的最大限制

cat /etc/security/limits.conf

检查该用户的 soft 和 hard 设置，比如：

kafka soft nofile 65536
kafka hard nofile 65536

如果 Kafka 是 systemd 服务启动的，还需配合 systemd 的配置项。

---

2. 永久修改文件描述符限制（Linux）

编辑 limits.conf 或使用 limits.d 目录

sudo vi /etc/security/limits.d/90-kafka.conf

添加以下内容：

kafka soft nofile 65536
kafka hard nofile 65536

修改 systemd 配置（适用于 systemctl 启动）

sudo systemctl edit kafka

增加如下配置：

[Service]
LimitNOFILE=65536

然后 reload 并重启 Kafka：

sudo systemctl daemon-reexec
sudo systemctl daemon-reload
sudo systemctl restart kafka

---

3. Kafka 层面优化建议

a) 减少连接数量

• 启用 Kafka 的连接空闲超时机制（默认已开启）
• 客户端复用连接（如 Kafka Producer/Consumer 使用连接池）

b) Kafka 连接相关配置检查

num.network.threads=3
num.io.threads=8
num.acceptor.threads=1

这些配置影响 Kafka 如何处理网络连接，请确保足够合理但不过度并发。

---

4. 临时缓解措施

在你还没调整系统参数前，可以尝试以下操作：

# 查看当前打开文件数最多的进程
lsof -n | awk '{print $2}' | sort | uniq -c | sort -nr | head

# 查看 Kafka Broker 当前连接
lsof -p <kafka-pid> | wc -l

---

三、建议的配置参考（生产级）

• 文件描述符上限：nofile=65536 或以上
• Kafka Broker 每个节点建议最大连接数：> 10,000 时请预调参数
• 配合监控连接数量（JMX 监控连接数、fd 使用率）

---