Linux后台开发系列之「11.IO 概述」

linux后台开发具备能力集锦 Linux后台开发应该具备技能(持续更新中) 一、linux和os: 1、linux下io,cpu,memory相关指令需要熟练使用(free ps netstat tcpdump iostat lsof) memory:top, free, sar, proc/meminfo, proc/pid/status, pmap c... 阅读详情

IO

版权声明:本文为 cdeveloper 原创文章,可以随意转载,但必须在明确位置注明出处!

IO 概述

这篇文章主要介绍 Linux IO 的基本知识和学习方法,掌握这些再学习 IO 操作会更加游刃有余,更加系统。

上层开发与 kenel 的关系

在学习 Linux 的 IO 操作之前,我们先来了解下上层开发和 kernel 底层的关系,也就是说上层大体上是如何调用底层的。我们以在 Linux 上开发的 C 程序为例简单介绍一下,因为这部分详细介绍很复杂,而我们开发上层只需要了解基本的过程即可,对底层有兴趣可以深入研究。

自顶向下

我们从上到下来看看一个 C 的 IO 程序是如何调用内核方法的:

Linux C App -> glibc(C 库)-> VFS(虚拟文件系统)-> kernel function(内核方法)

这只是以 C 程序为例,Linux 的 C 程序现在使用的是 GNU C Libary, glibc,但是 Linux 也支持不同的语言,通过类比可以知道,每种语言也应该都提供了相应的类库。

更加简单的理解可以说成:操作系统内核提供功能的实现,上层类库将这些实现封装成 API 库供上层调用,如果某个库需要跨平台,那么这个库的接口就需要符合一定的规则。

例如标准 C 库 ANSI C 就是跨平台的,它的接口标准由国际标准化组织(ISO)制定,你在 Linux 上用 ANSI C 写的 C 程序在 Windows 上也能运行,因为 Windows 也支持 ANSI C 。

Linux IO 体系结构

在学习 IO 操作之前,我们也需要对 Linux 的 IO 系统有一个大致的了解,总体来说,Linux 的上层 IO 结构有下面 3 个方面:

  1. 文件系统 API:Linux 下有很多种文件系统,但是为了统一接口,Linux 提供了 VFS,我们需要学会使用 VFS 的 API
  2. 驱动和总线:提供对硬件的操作接口,需要了解
  3. 设备类型:键盘,鼠标等硬件 IO 设备,需要了解

Linux 下所有的设备都是文件,所以都可以使用文件系统的 API 来操作,一个基本的方式如下:

LinuxApp (open...) -> /dev/xxx -> VFS -> xFS -> 总线 -> 驱动 -> 硬件

这其中 VFS 提供的对多种不同的 FS 的统一接口非常重要,这使得上层 APP 只需调用统一的 API,而不用担心当前使用的是哪种文件系统:

VFS

VFS(虚拟文件系统) 是抽象在计算机中的典型应用

通用的 IO 操作

IO 操作即使是在不同的系统上也经常提供下面这些功能(不是全部):

  1. 打开,关闭文件:open,close
  2. 读,写文件:read,write
  3. 控制文件:seek 移动文件指针等

这些基本上可以说是一个 IO 系统最基本的操作,其中打开,关闭,读写都是平常的必备操作。那么 Linux 的 IO 操作有没有什么特别的地方呢?

Linux 的 IO 操作分类

Linux 的 IO 操作大致可以分为以下几类:

  1. 标准 IO:使用 ANSI C 提供的 API
  2. 底层 IO:使用 Posix C 提供的 API
  3. FS 文件系统接口:掌握访问 FS 的 API
  4. 管道及 FIFO(先入先出队列):用于进程间通信
  5. Socket:比较特殊的 IO 操作,用于网络访问
  6. 底层终端接口(tty):字符终端也是一种 IO

在 IO 阶段主要还是以标准和底层 IO 为主,其他的类别一般都在进程,网络中介绍。

Linux IO 数据结构

开发上层 Linux IO 类型的程序,你首先需要理解下面这 3 个数据结构,它们非常重要,是一切操作的核心。

1. 文件描述符 FD

对于 Linux 内核来说,一个打开的文件是一个文件描述符(File Description,FD)的引用,FD 是一个非负整数。当打开一个现存的文件或者创建一个新文件时,内核向进程返回一个文件描述符,当读写文件时,用 open 或 read 返回的文件描述符 fd 标识该文件,将其作为参数传送给 read 和 write 。

每个进程都有默认的 FD[0, 1, 2]:

  1. STDIN_FILENO:标准输入,FD = 0
  2. STDOUT_FILENO:标准输出,FD = 1
  3. STDERR_FILENO:标准错误输出,FD = 2

2. File 结构

struct file 在内核中其实就代表了一个实际的文件,我们需要了解其中比较重要的字段:

struct file {
    // 文件链表指针
    struct list_head f_list;
    
    // 文件对应目录结构
    struct dentry *f_dentry;
    
    // 虚拟文件系统挂载点
    struct vfsmount *f_vfsmnt;
    
    // 文件操作函数指针
    struct file_operations *f_op;

    ...

    // 文件模式
    mode_t f_mode;

    // 文件 offset
    loff_t f_pos;
};

3. Files Structure

file_struct 保存了一个进程打开的所有文件表的数据:

struct file_struct {
    // 自动曾量
    atomic_t count;
    
    ...
    
    // 最大文件句柄数目
    int max_fds;

    // 最大的 fd 集合容量
    int max_fdset;

    // 下一个空闲的 fs
    int next_fd;
    ...
};

如何学习 IO 操作?

给你 2 个最好的免费资源:

  1. glibc 官网
  2. Linux 自带的 man 手册,例如:man 2 open

最好的方法是看 GNU 的官方文档和系统自带的 man 手册,我们已经知道 Linux C 使用的是 glibc 库,那么我们可以去 GNU 官网去查找这个库,发现它是开源的并且提供了非常好的学习文档,而 man 是 Linux 系统自带的,用起来也非常简单,例如 man 2 open 即可查看 open 函数的用法,介绍非常详细。但是市面上的那些培训机构却只会教你如何使用 API,而不教你如何查找这些 API 的学习资料,实在有些可惜。

一个函数名可能对应一个 shell 命令,当你用 man open 发现没找到函数定义时,试试 man 2 open 或者 man [n] open

如果你养成学习一种技术,首先到它的官网去查找学习资料的好习惯,那么你的进步会非常的快,相信我。因为没有比官网的资料更权威的了,那些写博客的也只不过是翻译并加上一些自己的理解,说实话当你自己看懂了那些英文文档,你就不需要看任何博客了,因为你已经找到了最好的「博客」。

如果你喜欢看英文那么你完全可以不看我之后更新的 IO 的内容,因为我的内容也是根据官网的文档自己总结的,你英文能力强,完全可以看原汁原味的资料,我更加希望你能不依赖别人而学习,一个人的进步 90 % 要靠自己,何况我自己的理解可能也不太准确呢。但是如果你的英文不太好,那么我建议你可以对照我的博客和官方文档来看,慢慢养成看英文的好习惯,受益终生。

结语

概述讲的太多就没有意义了,这篇文章主要让你对 IO 有一个基本的了解,最重要的是你要理解上层 APP 大体的执行过程和如何系统的学习 IO 操作,养成看英文文档的习惯,这才是这篇文章介绍的最重要的内容,具体的 IO 操作的文章后面会有更新,敬请期待。

最后,感谢你的阅读,我们下次再见 :)

面试总结 | Linux后台开发不得不看的知识点(给进军bat的你!) 文章目录一 自我介绍二 面试情况三 相关知识点汇总1 c/c++相关2 计算机网络3 数据结构相关4 数据库相关5 操作系统6 Linux基础知识及应用编程(后台必备!)7 大数问题8 手撕算法(递归非递归)9 针对项目相关10 场景题11 架构/分布式/中间件相关12 总结 白嫖不好,要不先赞在看! 一 自我介绍 本人小硕,秋招期间参加了不少安全类相关公司(深信服,绿盟等),另外参加了京东... 阅读详情

相关推荐

总结如何从Linux开发工程师到Linux后台开发工程师再到Linux高级互联网架构师

前言: 小编也是从事c方面10多年的工作经验、今天跟大家分享一下我总结出来的一系列 C/C Linux后台服务器开发的学习路线。从Linux开发工程师-Linux后台开发工程师-Linux高级互联网架构师。 想必大家都知道从事后台开发首先就是要选择一种语言,小编今天跟大家分享是用C/C++ 做的后台开发。所以想从事这方面的朋友得有C/C++的基础。 首先跟大家说的是从学习步骤:(Linux入门到精通篇) 一、Linux开发环境 1.了解Linux环境搭建,了解LinuxC编程 2.了解.

Linux高级开发的博客 1307

从 0 开始学习 Linux 系列之「11.IO 概述」

IO 概述 这篇文章主要介绍 Linux IO 的基本知识和学习方法,掌握这些再学习 IO 操作会更加游刃有余,更加系统。 上层开发与 kenel 的关系 在学习 Linux 的 IO 操作之前,我们先来了解下上层开发和 kernel 底层的关系,也就是说上层大体上是如何调用底层的。我们以在 Linux 上开发的 C 程序为例简单介绍一下,因为这部分详细介绍很复杂,而我们开发上层只需要了...

登龙的专栏 207

Linux C语言中的IO--标准IO

介绍了标准IO与文件IO的主要区别,介绍了几个常用的标准IO函数

ぃ未来可期 993

【Linux指南】基础IO系列(一)Linux 文件本质揭秘 —— 从 “磁盘文件” 到 “一切皆文件”

本文深入解析了Linux中“文件”的概念,从狭义和广义两个层面进行阐述。狭义上,文件是存储在磁盘上的数据,包含内容与属性两部分,所有文件操作本质都是与磁盘的IO交互。广义上,Linux遵循“一切皆文件”的哲学,将键盘、显示器、进程等系统资源都抽象为文件,通过统一接口(read/write)进行操作。这种设计降低了开发难度,保证了系统一致性。文章还通过实验演示了如何操作这些特殊“文件”,帮助读者理解Linux统一IO接口的核心思想。

倔强的石头的博客 1万+

存储IO路径:Linux下的“快递之旅”

但是,随着高速SSD(Solid State Disk)的出现并展现出越来越高的性能,百万级甚至千万级IOPS的数据访问已成为一大趋势,传统的块设备层已无法满足这么高的IOPS需求,逐渐成为系统IO性能的瓶颈。I/O接口可以理解为快递公司的“收发室”,它负责接收用户的快递请求,并将这些请求传递给后面的流程进行处理。这个过程中,驱动程序起到了一个中间人的作用,它将用户程序的IO请求转换为硬件设备可以理解的形式,并将其发送给硬件设备。在这个过程中,文件系统层会根据包裹上的地址信息,将其传递给相应的块设备层。

存储随笔 954

Linux高级IO之select

(。・∀・)ノ゙嗨!你好这里是ky233的主页:这里是ky233的主页,欢迎光临~type=blog点个关注不迷路⌯'▾'⌯网络的本质就是:IO,是一次输入和输出。

ky233的博客 1150

【Linux网络】五种IO模型与非阻塞IO

本文聚焦操作系统与 Linux 网络编程核心 IO 体系,从 IO 最底层的本质概念入手,拆解 IO 执行的两大核心步骤,解释 IO 运行低效的根本原因,并给出优化 IO 效率的核心思路。为了降低抽象概念的理解难度,全文采用钓鱼生活化案例类比业界通用的五种经典 IO 模型,依次讲解阻塞 IO、非阻塞 IO、信号驱动 IO、IO 多路复用、异步 IO 的运行逻辑,同时精准界定同步 IO 与异步 IO的判定标准,搭配可直接编译运行的 C 语言代码完成信号驱动 IO、POSIX 异步 IO 的实操演示。

艾莉丝努力练剑的博客,感谢大家一直以来的对艾莉丝的支持和鼓励,uu们如果对C/C++方向感兴趣的话,可以通过艾莉丝主页的微信名片加艾莉丝的好友,和努力练剑的艾莉丝一起加油! 2697

win11 中WSL 详解以及vscode进行Linux代码开发

WSL,全程是,是允许用户在 windows 运行 Linux 环境的特性功能,且无需单独的虚拟机和dual booting。WSL 旨在为希望同时使用 Windows 和 Linux 的开发人员提供无缝高效的体验。使用 WSL 安装和运行各种 Linux 发行版,例如 Ubuntu、Debian、Kali 等;提供诸如 bash 的命令行工具;运行 bash 脚本和 GNU/Linux 命令行应用,包括:工具:vim、emacs、tmux。

私房菜 2468

Linux高效IO

select,epoll的原理与使用

qq_63580639的博客 1006

Win10/Win11系统下冒险岛V128单机版一键搭建教程(含MySQL配置避坑指南)

本文提供Win10/Win11系统下冒险岛V128单机版一键搭建的详细教程,涵盖服务端部署、MySQL配置优化及常见问题解决方案。通过本指南,玩家可轻松实现单机版冒险岛的一键启动,重温经典游戏体验,同时避免常见的技术陷阱。

weixin_29261711的博客 655

高阶玩法——Dify生成的数据自动写入mysql数据库

采用自定义工具方式,利用 python编写一个服务sql_save_post,将接收到的内容写入指定数据库的表中,并为该服务撰写一个 OpenAPI 的 schema。配置工作流:我们以写入天气预报为例,在生成天气预报内容后,连接自定义工具“sql_save_post”,将所需的字段配置完成后,实现将生成的内容自动写入mysql数据库中。编写OpenAPI的schema:在dify平台的工具栏目,创建自定义工具,输入工具名称“sql_save_post”。工具:sql_save_post;

qq_44493378的博客 8544

Linux “io_uring” 安全盲点可导致隐秘的 rootkit 攻击

具体而言,Falco 被指即使在使用了自定义检测规则时仍然完全无法检测到,而Tetragon 无法标记默认配置下的恶意活动,不过该公司并不认为其平台易受攻击,因为可启用监控功能来检测这一 rootkit。在测试商用工具的表现时,ARMO 公司进一步证实它们无法检测到基于 io_uring 的不牵涉系统调用的恶意软件和内核交互。Linux 运行时安全中存在一个因 “io_uring” 引发的巨大安全差距,可导致 rootkit 以无法检测的方式在系统上运营,同时绕过高阶的企业安全软件。觉得不错,就点个 “

smellycat000的专栏 715

微信小程序协同工作和发布

微信小程序协同工作和发布

qq_53114527的博客 1623

【Linux网络】深入理解五种IO模型与非阻塞IO:从本质到实战

做后端开发的朋友们应该都有一个共识:绝大多数服务的性能瓶颈,最终都会落到 IO 上。无论是网络请求的收发、磁盘文件的读写,还是数据库的交互,本质上都是在处理 IO 操作。很多人写代码时只会用默认的阻塞 IO,遇到高并发就只会无脑加线程,结果线程越开越多,上下文切换的开销反而拖垮了整个系统。其实问题的根源在于没有真正理解 IO 的本质,也不知道操作系统提供了哪些更高效的 IO 模型。本文将从最底层的 IO 本质讲起,用大家都能听懂的 “钓鱼” 类比,带你彻底搞懂 Linux 下的五种 IO 模型,最后通过实战

会当凌绝顶,一览众山小 7743

NMS非极大值抑制算法原理

NMS非极大值抑制算法

pywin 3509

AI大模型学习(13)小白也能学会的10分钟豆包大模型的python教程1

豆包AI大模型API是字节跳动推出的智能对话接口服务,开发者可以通过简单的HTTP请求调用强大的AI能力,实现智能问答、内容生成等功能。

isoft888的专栏,致力于C#/python分享物联网、大数据,神经网络的等领域,欢迎讨论交流! 1004

Linux系统-基础IO

Linux下一切皆是文件(磁盘、网卡、显示器、键盘……等等,这些都是抽象化的过程) 成功以写的打开文件不存在的文件会默认先生成这个文件;生成的位置为当前的路径;这是因为cwd记录着当前进程的路径,这个进程打开文件时,也会把文件拼接在这个路径之后:介绍两个函数:fwrite、fread写文件:将msg和cnt格式化写入buffer,再使用fwrite函数将buffer的内容写入myfile文件 作为标准错误流,程序在运行期间遇到错误时,可借助它输出错误信息。将错误信息和正常输出分开

zc331的博客 1748

跨应用服务器的自定义 IDoc 传输实战:以 CATSDB 工时为例,打通两套 SAP 系统的数据通道

本文介绍了在企业多SAP系统环境下,使用SAP ALE/IDoc技术实现工时数据跨系统传输的解决方案。文章从技术选型、系统架构到具体配置步骤进行了详细说明,重点阐述了IDoc/ALE在异步传输、全链路追踪和数据重放方面的优势。 文章详细讲解了端到端实施流程,包括Logical System配置、RFC Destination创建、Message Type定义、Segment和Basic Type设计等关键步骤。同时提供了出站封装的ABAP代码示例,强调调用MASTER_IDOC_DISTRIBUTE函数后执

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 177

Day11_Linux内核IO

在过去的arm-linux内核源码树中arch/arm/plat-xxx和arch/arm/mach-xxx 等目录下边充斥着大量的垃圾代码,相当多数的代码只是在描述板级细节信息,而这些板级细节信息对于内核来说都是垃圾代码,比如板上的 platform_device、 resource、 i2c_board_info、spi_board_info 以及各种硬件的 platform_data.属性是简单的键值对,其中值可以是空的或包含任意字节流。键值对的值可以是十六进制表示的单字节的数。

liujing10232929的博客 819

Explorer.exe系统错误,电脑重启后刚开始一段时间正常,过一会桌面任务栏就卡死,可以打开任务管理器

联想E14Win10专业版。

本博客,博文仅代表个人操作经验,不能完全解决你的问题,仅供参考,佛系回复。 8053

【100分】【等和子数组最小和】

逆序排序,这样能够使得在分组时优先选取较大的元素,以便将元素分配到较小的子集中,从而使得每个子集的和相对均衡。给定一个数组nums,将元素分为若干个组,使得每组和相等,求出满足条件的所有分组中,组内元素和的最小值。分成若干个组,使得每组的和相等,并求出满足条件的所有分组中,组内元素和的最小值。在递归的过程中,我们需要注意一个优化点,即避免将相同和的桶重复计算。4 个子集(5),(1,4),(2,3),(2,3)2 个子集(5, 1, 4),(2,3, 2,3)个子集,则返回子集和的最小值,如果不能,则将。

weixin_54707168的博客 1169

Linux应用开发————常用系统IO函数

函数原型: ssize_t write(int fd,const void* buf,size_t count): 应用程序是无法直接访问硬件设备的,需要通过内核(OS)提供的系统调用服务来达到访问硬件设备目的,函数原型: ssize_t read(int fd,void* buf,size_t count)函数参数:path: 待操作的文件或目录,若path代表目录,则mode 只能取值为 F_OK。1.硬件访问---一切皆文件--调用系统IO相关函数操作设备文件从而控制硬件的响应。

2201_75915488的博客 948

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

【Linux文件IO】系统IO中API描述和基本使用

quad对文件的操作,除了最基本的打开、关闭、读、写、定位之外,还有很多特殊的情况,比如用于沟通应用层与底层驱动之间的ioctl、万能工具箱fcntl、内存映射mmap等等,熟练使用这些API,是日常开发的必备技能。

qq_62917398的博客 1166

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

初识Linux · 五种IO模型和非阻塞IO

前文我们已经将网络的基本原理介绍完了,都是通过围绕TCP/IP四层协议,将应用层,传输层,网络层,数据链路层全部介绍完毕,至于部分小主题,比如ARP欺骗,HTTP协议的原理,cookie以及session等内容,我们放在后面介绍。本文以及之后的内容,主要通过是介绍IO相关的问题,通过IO模型的介绍,从而引出多路复用的具体内容,通过介绍select,poll,epoll,最后再单独介绍一下Reactor,网络的基本原理我们就介绍完了。那么废话不多说,我们直接进入五种IO模型。

更新各种计算机技能~ 1265

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

从Linux看系统IO

最近看《深入理解计算机系统》系统级IO部分,突然想起之前和同学讨论的关于文件描述符和FILE*的差别,很不好意思的是,当时我说了一个错误的答案,, 在继续下文之前,先抛出几个问题: 1、可不可以对同一文件open两次?如果可以,关闭呢? 2、我们知道进程创建是父子进程复制,也即子进程继承父进程打开的文件描述符,那父进程还是子进程关闭? 3、当open时,发生了什么?文件内容从硬盘传入内存了吗

中华胡杨的专栏 1911

Linux驱动开发-①中断②阻塞、非阻塞IO和异步通知

应用程序:这个key_signal就类似于中断函数, signal(SIGIO,key_signal)相当于中断函数注册的意思,从而在应用程序中,将应用程序对应的进程号给内核,并且打开异步通知,内核中驱动程序判断按键按下后,将信号传递给这个应用程序进程,执行key_signal函数,读取按键值。类似于中断的思想,当驱动中判断出按键按下,发送一个信号,到应用对应的进程中,从而引起应用程序执行读取按键的操作,在应用程序中,类似于中断的方式。:在中断上下文中,当前 CPU 会禁用抢占,直到中断处理完成。

xxxx123445的博客 921
上一篇: Linux后台开发系列之「10.Autoconf 打包软件」
下一篇: Linux后台开发系列之「12.必须掌握的 5 个底层 IO 函数」
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值