下厨房事故认识Linux文件句柄(fd)

最新推荐文章于 2025-09-17 14:16:29 发布
原创 最新推荐文章于 2025-09-17 14:16:29 发布 · 4.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux 文件句柄

本文介绍了在误删除MySQL数据库文件后正确的紧急应对措施，并详细解释了如何通过文件描述符恢复被误删的数据文件。
以下内容摘自下厨房对公众的致歉信：
"
先使用了rm -f方式删除备份节点分区上的所有文件,5分钟后
发现刚才删除的是数据库主节点的分区，为防止硬盘继续写入，就马上把mysql进程停止了

"
第一时间停止MySQL防止硬盘继续写入这个应急措施是错误的！
正常如果进程没有被关闭，进程所打开的文件是不会被删除的
可以通过从/proc文件系统拷贝的方式恢复出当前仍然打开的文件
诸如rm，drop...等存在误删除风险的命令，意识到之后的第一反应该是：

哪些进程依旧打开了这些文件，如果有，立即从其文件描述符恢复，recovering files from /proc 从fd中恢复误删的ibdata


但是，"Every coin has two sides"，以上是fd的优点，不过这也给Linux用户造成一个现象：
为啥有时候df -h看磁盘剩余空间很小，而du -shc看具体目录大小，又没有占用那么多呢？
也就是说，文件删除后，空间并没有得到释放
这很可能是有的文件删除了，但是还被某些进程占用着文件句柄
lsof | grep delete 看看，是不是有进程占用了被删除的文件句柄
重启下这些进程kill -HUP释放文件句柄即可
删除文件后应该释放文件句柄才能释放空间


至于名字，windows上叫文件句柄，Linux上叫文件描述符，英文缩写是fd
每个进程至少都会打开三个文件：标准输入，标准输出，标准错误输出
他们对应的文件句柄是：0,1,2
涉及到文件句柄，有2个命令比较常用：ulimit和lsof
感兴趣的朋友可以参考我之前写的文章：

lsof：lsof 应用实例分享以及Oracle 数据文件删除恢复测试

ulimit：Linux ulimit和动态修改MySQL最大线程数限制


有些服务器上跑了MySQL，Apache，Oracle,,,,比较夸张，这时就很有必要对打开的文件数作修改

而且，直接或间接使用mysqld_safe启动MySQL时，其实是在启动mysqld之前，调用了ulimit -n $open_files来实现文件描述符的限制

有2个层面上的修改：

/etc/security/limits.conf针对单个应用程序，如MySQL

/proc/sys/fs/file-max针对整个Linux系统，比如MySQL+Oracle+Apache代数和

对于单个应用程序，例子如下：

cat /etc/security/limits.conf
* soft nofile 1048576
* hard nofile 1048576 


而对于永久修改整个Linux系统打开文件数的限制

可以往/etc/sysctl.conf追加一个值：fs.file-max=1048567然后sysctl -p

再sysctl fs.file-max做确认



参考文章：

http://cherry.world.edoors.com/CPZKoGkpxfbQ
http://www.hackinglinuxexposed.com/articles/20020507.html
http://tech.xiachufang.com/?p=18
http://www.orczhou.com/index.php/2013/07/how-to-recover-data-from-mysql-innodb-data-file-ibd-file/


By 迦夜
2013-10-3
Good Luck

网络socket编程--多路复用
King_的博客
02-19 2294
一、五种网络I/O模型 1.什么是I/O IO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。 比如你打开浏览器，访问新浪首页，浏览器这个程序就需要通过网络IO获取新浪的网页。浏览器首先会发送数据给新浪服务器，告诉它我想要首页的HTML，这个动作是往外发数据，叫Output，随后新浪服务器把网页发过来，这个动作是从外面接收数据，叫Input。所以，通常，程序完成IO操作会有
万字解析qinguoyi / TinyWebServer项目的源码
qq_39969848的博客
09-02 2079
这个函数完成了服务器在启动时所需的各项初始化工作，包括创建监听套接字、设置套接字选项、初始化epoll、设置信号处理的管道和定时器等。最终，服务器准备好监听来自客户端的连接，并可以处理各种事件和信号。这个eventLoop函数是Web服务器的核心，它使用epoll机制来处理多种类型的事件，包括新客户端连接、信号处理、客户端数据读写等。通过这种事件驱动的模型，服务器可以高效地处理大量并发连接，而不会阻塞在某个特定的操作上，保证了服务器的高性能和稳定性。
linux 文件句柄
老赵的博客
03-31 2619
1、单个进程文件句柄 1.1、查看进程打开文件句柄数 ##查询进程id： [root@server3 ~]# ps -ef|grep tail root 1027 21336 0 11:15 pts/1 00:00:00 tail -400f catalina.out ##查看进程打开文件句柄： [root@server3 ~]# ll /proc/1027/fd total ...
简记篇 | Linux系统的文件句柄-知识点学习
最新发布
db_murphy的博客
09-17 667
本文介绍了Linux系统中的文件句柄（文件描述符）概念及其管理机制。文件描述符是进程访问I/O资源的抽象索引，遵循"一切皆文件"的哲学，统一管理文件、设备、网络连接等资源。文章详细讲解了内核中文件描述符的三层管理结构（进程描述符表、系统打开文件表、i-node表），并提供了实用的命令操作：查看系统/进程限制（ulimit、/proc文件系统）、调整句柄限制（临时和永久配置）、监控使用情况（lsof工具）。最后针对常见的"Too many open files"错误给出
linux 句柄
08-06
linux 句柄用于脚本开发，记录了在工作过程的积累
Linux文件句柄
kongzheng1993的博客
05-12 3349
什么是文件句柄在文件I/O中，要从一个文件读取数据，应用程序首先要调用操作系统函数并传送文件名，并选一个到该文件的路径来打开文件。该函数取回一个顺序号，即文件句柄（file handle）。文件句柄，也叫文件描述符。文件描述符（File Descriptor） 是内核为了高效管理已被打开的文件所创建的索引，它是一个非负整数（通常是小整数），用于指代被打开的文件。所有...
linux文件句柄
weixin_30407613的博客
07-08 853
在linux中执行ulimit -a 即可查询linux相关的参数，默认情况下，linux最大文件句柄数为1024个。当你的服务器在大并发达到极限时，就会报出“too many open files”。 [root@mongodb11 ~]# ulimit -a core file size (blocks, -c) 0 data seg size ...
IO多路复用：select、poll、epoll
ancientmoondjay的博客
05-02 1014
一、同步异步、阻塞非阻塞的概念区分首先，一个 输入操作通常包括两个不同的阶段：（1）等待数据准备好（2）从内核向进程复制数据对于一个套接字上的输入操作，第一步通常涉及等待数据从网络中到达。当所等待分组到达时，它被复制到内核中的某个缓冲区。第二步就是把数据从缓冲区复制到应用进程缓冲区。1.同步与异步 同步和异步关注的是消息通信机制 (synchronous communication/ asynch
多路复用----＞(epoll)
qq_47638391的博客
09-10 780
fd: 服务器监听套接字epfd: epoll 实例的文件描述符newfd: 客户端连接的套接字events[]: epoll 返回的事件数组addr: 客户端地址信息结构体这次事件是哪个 fd 触发的？是监听套接字，还是某个客户端？在 poll 中，fds[0]永远是监听套接字，客户端 fd 不会覆盖它；比较就是判断这次事件是不是监听套接字触发。
深入理解BIO、NIO、AIO线程模型
qq_1149513559的博客
01-16 5237
文章目录1. BIO2. NIO         IO模型就是说用什么样的通道进行数据的发送和接收，Java共支持3种网络编程IO模式：BIO，NIO，AIO。下文进行介绍 1. BIO         BIO(Blocking IO) 又称同步阻塞IO，一个客户端由一个线程来进行处理，线程模型如下所示 BIO代码示例 public class
linux操作系统的文件句柄
饥饿中s的博客
06-27 3210
并传送文件名，并选一个到该文件的路径来打开文件。该函数取回一个顺序号，即文件句柄（file handle），该文件句柄对于打开的文件是唯一的识别依据。当完成任务后，再通过调用系统函数来关闭该文件。硬限制是实际的限制，而软限制，是warnning限制，只会做出warning，可以通过ulimit来设定这两个参数，用root用户执行ulimit -HSn 4096（H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量）linux下文件句柄是有限制的，默认并不会太高，一般都是1024。
Linux下文件句柄
不见长安见晨雾
05-13 2380
Too many open files 如果Java打开文件的时候，没有关闭IO流，那么打开到一定数量，在Linux下就会抛出Too many open files的异常。 public static class HoldIOTask implements Runnable { @Override public void run() { int count=0; try { while(t
【Linux】文件句柄说明
微信公众号: 后端码匠
07-01 2700
句柄梳理
Linux系统文件句柄数
努力的人运气总不会太差
11-11 1258
Linux系统文件句柄数一． 写在之前二． 问题阐述三． 产生的原因四． 经典案例五． 解决方案 一． 写在之前 本篇博客为转载内容,原博客：https://www.cnblogs.com/feng0815/p/8620564.html 曾经项目部署实施时，未更改文件句柄数，项目部署后，功能验证无问题。当线上使用时，数据访问量增加，系统无法使用，日志显示：too many open files。 二． 问题阐述 too many open files：顾名思义即打开过多文件数。 不过这里的files不单是文
linux系统的文件句柄数
cmdd_的博客
09-16 5067
1.文件句柄 文件句柄，文件描述符，会随着进程数增加而增加。 Linux是有文件句柄限制的，而且默认不是很高，一般都是1024，作为一台生产服务器，其实很容易就达到 这个数量，因此我们需要把这个值改大一些。我们可以用ulimit -n 来查看当前用户句柄数限制 2.设置文件句柄数 1）系统全局设置 [root@web01 ~]# vim /etc/security/limits.conf * - nofile 65535 * soft nofile 65535 * hard nofile 65535 *
Linux下文件句柄和文件描述符
10-30 1269
我们在日常维护中，常遇到"too many open file"的错误，有的系统，比如ES，要求启动时候扩大打开文件描述符的个数，不如会有如下的提示：[1]:maxfiledescr...
Linux文件句柄泄露
dipfocus的专栏
01-28 726
<br />以root账号运行：<br />ps -aux|grep -v grep|grep demo|awk '{print $2}'|xargs lsof -p|awk '{print $9}'<br />或者：<br />ls /proc/{进程号}/fd
Linux 保留文件句柄
01-22
### 如何在 Linux 中保留文件句柄不关闭文件描述符 在 Linux 系统中，当通过 `fork` 创建子进程时，默认情况下父子进程会共享打开的文件描述符。这意味着如果父进程打开了某个文件，在创建子进程之后，该文件也会保持打开状态，并且两个进程可以独立操作这个文件[^1]。 为了确保某些特定的文件描述符不会因为其他原因而意外关闭，可以通过设置文件描述符标志来实现这一点。具体做法是在调用 `open()` 或者 `dup2()` 函数获取到文件描述符后立即使用 `fcntl()` 来修改其属性，特别是清除 `FD_CLOEXEC` 标志位。这样即使执行了 `execve()` 类型的系统调用来加载新程序也不会自动关闭这些文件描述符[^3]。 下面是具体的代码示例： ```c #include <unistd.h> #include <fcntl.h> int main(){ int fd; // 打开文件并获得文件描述符 fd = open("example.txt", O_RDWR); if (fd >= 0){ // 清除 FD_CLOEXEC 标记以防止 exec 后关闭此文件描述符 fcntl(fd, F_SETFD, fcntl(fd, F_GETFD) & ~FD_CLOEXEC); pid_t child_pid = fork(); if(child_pid == 0){ // 子进程中继续使用相同的文件描述符而不必重新打开它 execlp("/bin/cat", "cat", NULL); // 这里假设 cat 命令能够读取已有的文件描述符 _exit(EXIT_FAILURE); } wait(NULL); close(fd); } return 0; } ``` 在这个例子中，`fcntl()` 被用于移除了默认添加给所有新建文件描述符上的 `FD_CLOEXEC` 标识。这使得即便后续发生了 `execlp()` 的调用，指定的文件描述符仍然会被保留下来供新的可执行映像继承和使用[^4]。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值