IO进程 day03

7. 目录操作函数

函数功能函数名
打开目录opendir
关闭目录closedir
读目录readdir
修改文件路径chdir
获取文件属性stat

7.1. opendir/closedir

opendir

#include <sys/types.h>
#include <dirent.h>
DIR *opendir(const char *name);

 功能:打开目录文件
 参数:目录流,指向打开的目录文件
 返回值:
  成功返回目录流指针
  失败返回NULL,更新errno
closedir

#include <sys/types.h>
#include <dirent.h>
int closedir(DIR *dirp);

 功能:关闭目录文件
 参数:目录流,指向开的的目录文件
 返回值:成功返回0,失败返回-1,并且更新errno

7.2. readdir

#include <dirent.h>
struct dirent *readdir(DIR *dirp);

 功能:读取目录文件内容
 参数:目录流,指向打开的目录文件
 返回值:
  成功返回结构体指针,读到文件结尾返回NULL
  失败返回NUL
结构体:

struct dirent
{
	ino_t dino;	// 文件的inode
	off_t d_off;	
	unsigned short d_reclen;
	unsigned char d_type;	//文件类型,并不支持所有文件类型
	char d_name[256]; 	// 文件名
};

练习
实现ls -a的功能

#include <stdio.h>
#include <sys/types.h>
#include <dirent.h>

int main ()
{
	DIR *dirp = NULL; 
	struct dirent* dire = NULL;
	// 打开文件
	dirp = opendir("./");
	if(dirp == NULL)
	{
		perror("open err");
		return EOF;
	}
	// 读取文件
	while(dire = readdir(dirp))
		pritnf("%s\t", dire->d_name);
	closedir(dirp);
	return 0;
}

7.3. chdir

#include <unistd.h>
int chdir(const char* path);

 功能:改变当前工作路径
 参数:path:修改之后的路径
 返回值:成功返回0,失败返回-1,更新errno
注意
 只有程序走到该函数之后,工作路径从程序所在路径改成path指向的路径,修改创建文件都在修改之后的路径下实现

7.4. stat

#include <sys/types.h>
#include <sys/stat.h>
#include <unistd.h>
int stat(const char *pathname, struct stat *buf);

 功能:获取文件属性
 参数:
  pathname:文件
  buf:获取到属性存放的位置
 返回值:成功返回0,失败返回-1,并且更新errno

struct stat
{
	dev_t		st_dev;	// 包含文件的设备ID
	ino_t		st_ino;	// 文件的inode号
	mode_t		st_mode;	// 文件的类型和权限
	nlink_t		st_nlink;	// 硬链接数
	uid_t 		st_uid;	// 用户ID
	gid_t     	st_gid;	// 组ID
	dev_t     	st_rdev;
	off_t     	st_size;	//大小
	blksize_t 	st_blksize;	// 文件系统IO块的大小
	blkcnt_t	st_blocks; 	// 512b的分配数量
	struct timespec		st_atim;	// 最后一次访问的时间
	struct timespec		st_mtim;	// 最后一次修改的时间
	struct timespec		st_ctim;	// 最后一次状态改变的时间
}

基本用法

获取文件的inode号

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <unistd.h>
#include <dirent.h>

int main(int argc, char const *argv[])
{
    DIR *dirp = NULL;
    struct dirent *dir = NULL;
    struct stat sb;

    // 打开文件
    dirp = opendir("./");
    if (dirp == NULL)
    {
        perror("open err");
        return EOF;
    }
    // 读取文件
    while (dir = readdir(dirp))
    {
        if (stat(dir->d_name, &sb) == -1)
        {
            perror("stat err");
            return -1;
        }
        printf("%ld %s  ", sb.st_ino, dir->d_name);

    }
    printf("\n");
    closedir(dirp);
    return 0;
}

获取文件类型

  1. man 7 inode:The following mask values are defined for the file type
  2. 对于文件类型,定义了一下掩码值(8进制)
宏名掩码值文件类型
S_IFMT0170000判断文件类型
S_IFSOCK0140000socket—套接字
S_IFLNK0120000symbolic link—连接文件
S_IFREG0100000regular file —普通文件
S_IFBLK0060000block device — 块设备文件
S_IFDIR0040000directory — 目录文件
S_IFCHR0020000character—字符设备文件
S_IFIFO0010000FIFO—管道文件
  1. 先通过stat获取文件的类型和权限
#include <stdio.h>
#include <sys/types>
#include <sys/stat.h>
#include <unistd.h>

int main ()
{
	// 通过stat获取文件属性
	struct stat sb ;
	if(stat(argv[1], &sb) == -1)
	{
		perror("stat err");
		return EOF;
	}
	pritnf("mode = %o\n", sb.st_mode);	// 掩码是8进制,mode转换成8进制
}
  1. 使用方法
stat(pathname, &sb);
if((sb.st_mode & S_IFMT) == S_IFREG)
	printf("普通文件");
  1. 换一种写法,通过宏来直接得到真值或假值
宏名判断文件类型
S_ISREG(mode)regular file—普通文件
S_ISDIR(mode)directory—目录文件
S_ISCHR(mode)character device—字符设备文件
S_ISBLK(mode)block device—块设备文件
S_ISFIFO(mode)FIFO—管道文件
S_ISLNK(mode)symbolic link—连接文件
S_ISSOCK(mode)socket—套接字文件
stat(pathname, &sb);
if(S_ISREG(sb.st_mode))
	printf("regular file");

获取文件权限

对于文件权限,也有相应的掩码

宏名掩码权限
S_IRUSR00400用户的读权限
S_IWUSR00200用户的写权限
S_IXUSR00100用户的执行权限
S_IRGRP00040同组的读权限
S_IWGRP00020同组的写权限
S_IXGRP00010同组的执行权限
S_IROTH00004其他用户的读权限
S_IWOTH00002其他用户的写权限
S_IXOTH00001其他用户的执行权限

需要哪一项权限就用mode位与哪一项权限的掩码

if(sb.st_mode & S_IRUSR)
	printf("r");

其他的结构体成员的使用

  1. 通过用户id获取用户名
#include <pwd.h>
struct passwd* getpwuid(uid_t uid);
struct passwd
{
	char *pw_name;	// 用户名
	char *pw_passwd;	// 用户密码
	uid_t pw_uid;	// 用户ID
	gid_t pw_gid;	// 组ID
	char *pw_gecos;	// 用户信息
	char *pw_dir;	// 家目录
	char *pw_shell;
}struct passwd* user_name = NULL;
user_name = getpwuid(sb.st_uid);
user_name->pw_name;
  1. 通过组ID获取组名
#include <grp.h>
struct group *getgrgid(gid_t gid);
struct group
{
	char *gr_name;	// 组名
	char *gr_passwd;	// 组密码
	gid_t gr_gid;	// 组ID
	char **gr_mem;	// 组内成员
}
  1. 转换时间格式
     将时间转换成字符串的形式表示
#include <time.h>
char *ctime(const time_t *timep);
// 将时间转换成为"Wed Jun 30 21:49:08 1993\n"的格式

8. 库

8.1. 库的概念

 把一些的常用的函数的目标文件打包到一起,提供相应的函数接口。本质上是一种可执行代码的二进制形式

8.2. 库的分类

静态库动态库
编译在编译时会被连接到目标代码中在程序运行时才会被载入到程序中
优点运行时不需要加载库,运行速度快
运行时不依赖库文件,可移植性高
程序在执行时加载动态库,体积较小
缺点静态库中的代码复制到程序中,所以体积大运行时需要加载库文件,运行速度较慢
运行时依赖库文件,可移植性较差
库升级静态库升级之后程序需要重新编译链接动态库升级之后不需要重新编译程序
Linux.a.so
Windows.lib.dll

在这里插入图片描述

8.3. 静态库制作

  1. 将源文件编译生成目标文件
     gcc -c xxx.c -o xxx.o
    在这里插入图片描述

  2. 创建静态库,用ar命令,将.o文件生成.a文件
     ar crs libxxx.a xxx.o
    在这里插入图片描述

  3. 静态库的使用
     gcc main.c -L指定库的路径 -l指定的库名
    在这里插入图片描述

8.4. 动态库的制作

  1. 创建一个与地址无关的目标文件
     gcc -fPIC -c xxx.c -o xxx.o
    在这里插入图片描述
  2. 创建动态库
     gcc -shared -o libxxx.so xxx.o
    在这里插入图片描述
  3. 测试使用
     gcc xxx.c -L指定路径 -l指定的库名
  4. 执行
    在这里插入图片描述
  5. 错误原因:动态库被加载时会优先从/lib下寻找库文件
  6. 解决办法:
     1. 把库文件拷贝到/usr/lib下
      sudo cp libxxx.so /sur/lib
     2. 在LD_LIBRARY_PATH 环境变量中加上库所在的路径
      export LD_LIBRARY_PAYH = $LD_LIBRARY_PATH:.
      只在当前终端有效
     3. 添加/etc/ld.so.conf.d/*.conf文件

9. 进程

9.1. 进程和程序的区别

程序:
1. 编译好的可执行的二进制文件
2. 存放在磁盘上,指令和数据的有序集合(文件)
3. 静态的,没有任何执行的概念

进程:
1. 独立的可调度的任务
2. 执行一个程序所分配的资源的总称
3. 进程是程序一次完整执行过程
4. 进程是动态的,包括创建,调度,执行,消亡
5. 进程活动在内存上,断电会丢失

08-24
<think>首先,用户的问题是:“请问Linux系统中iowait过高如何解决”。这是一个关于Linux系统性能问题的查询,特别关注iowait过高的情况。 根据系统级指令: - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 - 回答结构清晰,帮助用户逐步解决问题,保证回答真实可靠。 用户提供了几个引用,这些引用是关于iowait的: - 引用[1]: iowait 是系统上未完成的磁盘I/O请求的时间百分比。高值可能表示磁盘I/O瓶颈,但也可能受CPU、内存等因素影响。 - 引用[2]: 每天收到磁盘iowait告警,尤其是在日志服务器上进行大量读写操作,导致系统崩溃边缘。需要查找原因和优化点。 - 引用[3]: 从Cpu一行可以看到浪费在I/O Wait上的CPU百分比;数字越高,说明越多的CPU资源在等待I/O权限。 - 引用[4]: Linux系统磁盘IO过高排查总结,涉及Mysql服务器磁盘IO高。 - 引用[5]: mysql iowait高,iowait过高问题的查找及解决。 用户意图是了解或解决与系统I/O等待相关的问题。所以,我需要构建一个结构化的回答,帮助用户解决iowait过高的问题。 回答结构: 1. **理解iowait**:先解释什么是iowait,为什么它重要。 2. **排查步骤**:提供逐步的排查方法,包括工具和命令。 3. **常见原因**:列出导致iowait过高的常见原因。 4. **解决方案**:针对不同原因,给出解决方案。 5. **优化建议**:提供一般性的优化建议。 6. **生成相关问题**:在回答末尾添加相关问题。 在回答中,自然地添加引用标识。例如,当引用[1]时,在末尾添加[^1]。 确保使用中文。 现在,梳理关键点: - **iowait定义**:iowait 是CPU在等待I/O操作完成时处于空闲状态的时间百分比。高iowait表示系统在I/O上花费了大量时间,可能导致性能瓶颈。 - **工具**:使用如top, iostat, iotop, vmstat, sar等工具来监控和分析。 - **常见原因**: - 磁盘I/O瓶颈:磁盘速度慢或负载高。 - 内存不足:导致频繁的swap操作。 - 高I/O应用:如数据库、日志服务。 - 配置问题:如文件系统设置、调度算法。 - **解决方案**: - 识别高I/O进程:使用iotop或pidstat。 - 优化磁盘:使用SSD、RAID配置。 - 优化应用:如调整数据库配置。 - 增加内存:减少swap使用。 - 调整内核参数:如I/O调度器。 生成相关问题: - 基于主题,如:如何监控iowait?iowait与CPU使用率的关系?特定应用如MySQL的iowait优化? 回答大纲: 1. 介绍iowait及其重要性。 2. 逐步排查方法: - 监控整体系统状态。 - 识别高I/O进程。 - 检查磁盘性能。 - 分析内存使用。 - 检查应用配置。 3. 具体解决方案。 4. 总结。 5. 相关问题。 在回答中,引用用户提供的引用: - 当解释iowait时,引用[1]。 - 当提到告警和日志服务器时,引用[2]。 - 当讨论CPU等待时,引用[3]。 - 当涉及MySQL时,引用[4]和[5]。 确保回答真实可靠:基于Linux系统管理的标准知识。</think>### Linux系统中iowait过高的解决方案 iowait(I/O等待)是CPU在等待磁盘I/O操作完成时处于空闲状态的时间百分比,通常通过`top`或`iostat`命令查看。高iowait值(如超过20%)可能表示系统存在I/O瓶颈,导致性能下降甚至系统崩溃[^1]。常见原因包括磁盘速度不足、内存不足引发频繁swap、高I/O应用(如数据库或日志服务)配置不当等[^2][^4]。解决iowait过高需要系统性排查和优化。下面我将逐步指导您完成问题诊断和解决,确保过程清晰可靠。 #### 步骤1: 理解iowait并初步监控 iowait高并不总是磁盘问题,它可能受CPU处理能力、内存资源或应用负载的综合影响[^1]。首先,使用基础工具确认问题: - 运行 `top` 命令,查看CPU行中的 `wa` 值(即iowait百分比)。例如: ```bash top - 10:00:01 up 1 day, 1 user, load average: 5.2, 4.8, 4.5 %Cpu(s): 10.0 us, 5.0 sy, 0.0 ni, 70.0 id, 15.0 wa, 0.0 hi, 0.0 si, 0.0 st ``` 这里 `wa=15.0%` 表示iowait较高。如果此值持续偏高,说明系统在等待I/O[^3]。 - 使用 `vmstat 1 5` 命令(每秒采样一次,共5次),关注 `wa` 列和 `swap` 列。高 `wa` 伴随高 `si`(swap-in)或 `so`(swap-out)可能表示内存不足[^4]。 **关键点**:iowait高时,系统资源浪费在等待I/O权限上,需进一步定位源头[^3]。 #### 步骤2: 识别高I/O进程和磁盘 高iowait通常由特定进程或磁盘引起。使用以下工具深入分析: - **查找高I/O进程**:运行 `iotop`(需安装,`sudo apt-get install iotop` 或 `sudo yum install iotop`)。命令输出显示每个进程的磁盘读写速率,例如: ```bash sudo iotop -oP TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND 1028 be/4 root 0.00 B/s 0.00 B/s 0.00 % 15.00 % mysqld ``` 这里 `IO>` 列高的进程(如MySQL)可能是罪魁祸首[^5]。如果 `iotop` 不可用,使用 `pidstat -d 1` 替代。 - **检查磁盘性能**:运行 `iostat -dxk 1 5`,关注 `%util`(磁盘利用率)和 `await`(I/O平均等待时间)。例如: ```bash Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await %util sda 0.00 5.00 80.0 20.0 3200.0 800.0 50.00 10.00 100.00 90.00 ``` 如果 `%util > 70%` 且 `await` 高,说明磁盘过载,可能是慢速磁盘或RAID配置不当[^4]。 **常见原因**:日志服务器或数据库(如MySQL)的频繁读写是典型诱因,尤其在大量日志操作时[^2][^4]。 #### 步骤3: 分析系统资源瓶颈 iowait高可能源于内存或CPU问题: - **内存检查**:运行 `free -m` 查看内存使用。如果 `Swap` 使用率高(如 >10%),说明内存不足引发swap,间接推高iowait。优化方法: - 增加物理内存。 - 调整应用配置以减少内存需求(如MySQL的 `innodb_buffer_pool_size`)。 - **CPU和负载监控**:使用 `sar -u 1 5` 查看CPU使用率分布。高iowait伴随高 `%system` 可能表示内核处理I/O的CPU开销大。 #### 步骤4: 针对原因实施解决方案 根据排查结果,选择优化措施: - **优化高I/O应用**: - 如果是数据库(如MySQL),调整配置:增加 `innodb_io_capacity`、启用 `innodb_flush_log_at_trx_commit=2` 以减少磁盘写入频率[^5]。参考慢查询日志优化SQL语句。 - 如果是日志服务(如syslog或journald),限制日志大小:编辑 `/etc/systemd/journald.conf`,设置 `SystemMaxUse=500M`,或使用 `logrotate` 定期归档日志[^2]。 - **提升磁盘性能**: - 升级硬件:使用SSD替代HDD,或配置RAID 10提升I/O吞吐。 - 调整I/O调度器:运行 `echo deadline > /sys/block/sda/queue/scheduler`(将 `sda` 替换为您的磁盘),`deadline` 调度器适合高负载场景。 - **系统级优化**: - 减少swap使用:编辑 `/etc/sysctl.conf`,添加 `vm.swappiness=10`,然后运行 `sysctl -p`。 - 内核参数优化:增加文件句柄限制,在 `/etc/security/limits.conf` 中添加 `* soft nofile 65536` 和 `* hard nofile 65536`。 - **监控和告警**:部署工具如 `sar`(sysstat包)或Prometheus+Grafana,设置iowait阈值告警(如 >15%),便于早期干预[^2]。 #### 步骤5: 验证和预防 优化后,重新监控iowait: - 运行 `iostat 1` 和 `top`,确认 `wa` 值下降。 - 压力测试:使用 `fio` 工具模拟I/O负载(`sudo fio --name=test --ioengine=libaio --rw=randrw --bs=4k --numjobs=4 --size=1G --runtime=60`)。 预防措施包括: - 定期检查磁盘健康(`smartctl -a /dev/sda`)。 - 平衡负载:将高I/O应用分散到多台服务器。 #### 总结 iowait过高通常由磁盘瓶颈、内存不足或应用配置不当引起。通过工具监控、进程识别和针对性优化(如升级硬件或调整应用),能有效降低iowait。例如,某案例中优化MySQL参数后iowait从20%降至5%[^5]。记住,高iowait并非总是磁盘问题,需结合系统资源整体分析[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值