Linux基础IO

Linux 基础—— IO 全面介绍 FILE 结构体中包含了 int fileno 的成员(也就是系统上的 fd 文件描述符)fopen、fwrite、fread、fclose 等 f 系列的库函数都是由底层 open、write 、read、close 实现的,通过 open 的返回值传给 fileno,从而对系统调用函数进行封装struct FILE 内部包含:底层对应的文件描述符下标应用层 C 语言提供的缓冲区数据。 阅读详情

目录

一.文件

二.系统调用接口

​编辑 ​编辑

三.文件描述符

​编辑

四.重定向

dup2系统调用

五.缓冲区


一.文件

首先我们得对文件有一定的了解, 我们首先来说一下文件把!

  • 文件=文件内容+属性(也是数据)。
  • 文件的所有操作,其实就两种,对内容,对属性。
  • 文件在磁盘(硬件)上.放着,我们访问文件,先写代码–〉编译―〉 exe -〉运行―〉访问文件:本质是谁在访问文件呢,其实是进程。要向硬件写入,只有谁有权利呢,操作系统,普通用户也想写入呢,就必须,让OS提供接口,文件类的系统调用接口。
  • 显示器是硬件,printf向显示器打印,你为什么不觉得奇怪呢,和磁盘写入到文件,没有本质区别,也是一种写入。

  • Linux认为,一切皆文件,感性的认识:文件而言:曾经理解的文件: read、write,显示器: printf/cout ->一种write,键盘: scanf/cin . ->一种read,站在你写的程序的角度,加载到内存,站在内存的角度,前两种是output,最后一种是input,对于普通文件 -> fopen/fread ->你的进程的内部(内存),是input,你的进程的内部(内存)-> fwrite -〉文件中,是output。

为什么之前我们不知道呢,这里其实有两个原因。

  • 第一是比较难,语言上对这些接口做一下封装,为了让接口更好的使用导致了不同的语言,有不同的语言级别的文件访问接口(都不一样),但是都因为封装的是系统接口,为什么要学习OS层面的文件接口,因为这样的接口,只有一套。
  • 第二是跨平台,把所有的平台的代码,都实现一遍,条件编译,动态裁剪,如果语言不提供对文件的系统接口的封装是不是所有的访问文件的操作,都必须直接使用OS的接口,而用语言的客户,要不要访问文件呢,当然要一旦使用系统接口,编写所谓的文件代码,无法在其他平台中直接运行了不具备跨平台性。

什么是文件呢:站在系统的角度,能够被input读取,或者能够output写出的设备就叫做文件。狭义文件:普通的磁盘文件,广义上的文件:显示器,键盘,网卡,声卡,显卡,磁盘,几乎所有的外设,都可以称之为文件。

二.系统调用接口

在说系统调用接口前,先看C语言里的文件操作函数,会发现非常的相似,例如C语言中是fopen,fwrite,fread,fclose,而系统接口是open,write,read,close,是不是非常相似,当然在这里C语言的文件接口就不过多介绍了,这里主要讲解一下系统调用接口。

文件操作的系统调用接口:
文件是Linux系统中的重要概念。它不仅仅是对普通文件的操作接口,也是设备通信、进程间通信、网络通信的重要编程接口。因此文件操作的相关调用也是Linux内核提供的最重要的编程接口。

本节将重点叙述如下几个常用的文件操作系统调用。

  •  open:打开文件。
  •  read:从已打开的文件中读取数据。
  •  write:向已打开的文件中写入数据。
  •  close:关闭已打开的文件。
  1. 对文件的操作工程一般是这样的:先打开文件,内核对打开的文件进行管理,打开成功后应用程序将获得文件描述符;然后应用程序使用文件描述符对文件进行读写操作;当全部操作完毕后,应用程序需要将文件关闭以释放用于管理打开文件的内存。
  2. 文件描述符是一个取值从0开始的整数。内核默认一个进程同时打开的文件数有一个上限,也就是文件描述符取值的上限,一般是1024。
  3. 每个进程在启动后就默认有三个打开的文件描述符0,1,2,如果启动程序时没有进行重定向,则文件描述符0关联到标准输入,1关联到标准输出,2关联到标准错误输出。

 打开文件的系统调用接口:open

#include <sys/stat.h>
#include <sys/types.h>
#include <fcntl.h>

int open(const char* pathname, int flags); //函数1
int open(const char* pathname, int flags, mode_t mode); //函数2

pathname·:想要打开/创建的文件(包含路径和文件名)
flags:标志位。表示想要它是如何打开的以及一些属性。对于这个参数系统定义了几个宏。O_WRONLY:只写打开
O_RDONLY:只读打开
O_RDWR:读写打开

返回值
成功:返回一个新打开的文件描述符(在后面介绍)
失败:返回-1

上面的这三个宏,再使用open时必须要指定一个,并且也只能指定一个。O_CREAT:如果指定文件不存在,使用这个宏,可以自动创建它。创建的话,需要使用mode参数指明创建出的文件的访问权限。O_APPEND:追加写

 关闭文件:close

#include <unistd.h>

int close(int fd); //传入文件描述符

写入,读取

 

三.文件描述符

一个进程通常会打开多个文件,那么操作系统就需要对这些文件进行管理。Linux操作系统将打开的文件相关属性信息放在了结构体struct file内。而Linux的进程PCB---->task_struct中有一个结构体指针struct files_struct *fs,fs指向的表中又存在着一个数组,这个数组里面的内容正是存放着文件相关属性信息的结构体地址。

而现在知道,文件描述符就是从0开始的小整数。当我们打开文件时,操作系统在内存中要创建相应的数据结构来描述目标文件。于是就有了file结构体。表示一个已经打开的文件对象。而进程执行open系统调用,所以必须让进程和文件关联起来。每个进程都有一个指针*files,指向一张装files_struct,该表最重要的部分就是包涵一个指针数组,每个元素都是一个指向打开文件的指针!所以,本质上,文件描述符就是该数组的下标。所以,只要拿着文件描述符,就可以找到对应的文件

文件:

  • 被进程打开的文件(内存文件)
  • 没有被打开的文件(磁盘上,文件=内容+属性)(磁盘文件)

总结:文件描述符的本质就是数组下标。

fopen -> open -> fd-> FILE>FILE*

fwrite()->FILE* ->fd -> write -> write(fd,...)-〉自己执行操作系统内部的write方法-〉能找到进程的task_struct->*fs ->files_struct->fd_array[]->fd_array[fd]->struct file->内存文件被找到了。

而现在知道,文件描述符就是从0开始的小整数。当我们打开文件时,操作系统在内存中要创建相应的数据结构来描述目标文件。于是就有了file结构体。表示一个已经打开的文件对象。而进程执行open系统调用,所以必须让进程和文件关联起来。每个进程都有一个指针*files, 指向一张表files_struct,该表最重要的部分就是包涵一个指针数组,每个元素都是一个指向打开文件的指针!所以,本质上,文件描述符就是该数组的下标。所以,只要拿着文件描述符,就可以找到对应的文件

文件描述符的分配规则:文件描述符的分配规则:在files_struct数组当中,找到当前没有被使用的最小的一个下标,作为新的文件描述符

四.重定向

#include<iostream>
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
using namespace std;
int main()
{
    close(1);
    int fd =open("as.txt",O_WRONLY|O_CREAT,0644);
    cout<<"gdhslghreoi"<<endl;
    return 0;
}

运行上面这一段代码,我们可以发现本来应该输出到屏幕上的内容,都输出到as.txt这个文件里面了,这个就叫做输出重定向。

重定向的本质:其实就是在os系统内部,修改fd对应内容的指向。

dup2系统调用

这个系统调用的作用就是将newfd替换给oldfd。 

#include<iostream>
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
using namespace std;
int main()
{

    int fd =open("as.txt",O_WRONLY|O_CREAT,0644);
    dup2(fd,1);
    cout<<"gdhslghreoi"<<endl;
    return 0;
}

这样其实和我们之前写的,最终结果都是一样的,都会把输出放到文件as.txt中,其实就是将newfd替换给oldfd。

五.缓冲区

1.什么是缓冲区?

就是一段内存空间。

2.为什么要有缓冲区?

首先我们要知道要把数据刷新到屏幕上,就需要进行IO,但是IO相对于我们来说是比较耗时的,所以我们如果一有数据就刷新会非常的拖慢我们的效率,所以我们就需要一段缓冲区将他给展示存储起来,等数据较多时在一起刷新。

3.缓冲区刷新策略。

  • 立即刷新
  • 行刷新(行缓冲)
  • 满刷新(全缓冲)

4.关于缓冲区的认识。

一般而言行缓冲的设备文件--显示器,全缓冲的设备文件--磁盘文件,所有的设备,永远都倾问于全缓冲--缓冲区满了,才刷新--〉需要更少次的I0操作--〉更少次的外设的访问,提高效率,和外部设备IO的时候,数据量的大小不是主要矛盾,你和外设预备I0的过程是最耗费时间的,其他刷新策略是,结合具体情况做的妥协,显示器:直接给用户看的,一方面要照顾效率,一方面要照顾用户体验,极端情况,你是可以自定义规则的。

化学科学催化反应产率预测之Transformer建模SMILES(Datawhale AI 夏令营) 循环神经网络:由于所有的前文信息都蕴含在一个隐向量中,随着序列长度的增加,早期的上下文信息会逐渐被遗忘。卷积神经网络:受限的上下文窗口在建模长文本时存在天然不足。需要多层卷积操作才能处理长文本。在本篇文章中,我们学习了Transformer的基本架构及其在化学反应产率预测中的应用。通过利用Transformer的Encoder部分对SMILES进行建模,我们能够更有效地捕捉序列数据的特征,从而提高模型的预测性能。 阅读详情

相关推荐

第二十六届中国机器人及人工智能大赛CRAIC决赛小型桌面级-立体仓储代码分享

国二奖,精度还有不少问题,没有视觉模块,单线程,比起其他大佬写的确实还有欠缺,继续加油吧。

qq_68232259的博客 693

Linux-基础IO

在刚开始学习Linux的时候,我们记住了Linux下一切皆文件,我们通过这篇文章来深入了解Linux下文件的构成及应用。

欢迎来到阿熊的blog~~ 2704

WebRTC TURN协议初识及turnserver实践

但是TURN协议对服务器有很高的依赖,服务器在带宽和集群上有很大的压力,所以TURN协议通常是当作ICE协议中的一部分来使用。ChannelData message不使用STUN头部,而使用一个4字节的头部,包含了一个称之为信道号的值(channel number),每一个使用中的信道号都与一个特定的peer绑定,即作为对等端地址的一个记号。该relay地址是个公网地址,可以看作是客户端A在公网上的一个代理,任何想要联系A的客户端,只要将数据发送到A的relay地址就可以了。

yinshipin007的博客 566

Linux《基础IO》

本文介绍了Linux基础IO相关内容,包括文件描述符、重定向原理和缓冲区机制。首先回顾了C语言文件操作接口,引入Linux系统调用open、read、write等函数。重点讲解了文件描述符本质是数组下标,以及通过dup2实现重定向的原理。文章还演示了如何为自制shell添加重定向功能,并深入分析了"Linux下一切皆文件"的设计思想。最后探讨了内核缓冲区和语言层缓冲区的区别,并实现了一个简单的类libc库。通过这些内容,读者可以理解Linux文件操作的系统实现机制。

mljy.博客 3122

Stata极简生存分析

1. 导入数据 webuse drugtr,clear *webuse -- Use dataset from Stata website stset,clear *上一行命令导入进来的数据是“生存时间数据”,会比最原始的数据多四列,这一行命令的目的是重置为原始数据,之所以这样做,是为了显示数据处理的全部过程 codebook drug codebook studytime codebook died codebook age *codebook -- Describe data contents 2.

TOP生物信息 2336

菲涅尔波带片

菲涅尔波带片的简介,以及matlab绘制

Bestchinese的博客 1万+

【Linux】基础IO

前言本篇博客我们来探讨下加载到内存里的文件是如何被操作系统工作的,认识下相关IO操作若有问题 评论区见📝。

m0_74091744的博客 1113

【AUTOSAR实战】:CAN发送邮箱忙导致报文发送丢帧的问题调试

本文档主要讨论了CAN总线通信中可能出现的TC377传输错误的分析和解决方案。文章提供了如何通过检查CAN传输和接收过程、识别传输缓冲区的类型和状态以及选择适当的内存保护功能来检测和解决此类错误的见解。经过多次尝试和分析,得出的结论是,修改CANIF缓冲的尺寸并重新分配报文给各个buffer并不能解决问题。此外,发送中断被抢占可能导致报文无法发送,最终也将此因素排除。本文档还提到了一些可能导致发送流程调度出现问题的因素,例如CANIF中报文引用Buffer不合理。

weixin_46481662的博客 3141

【Linux笔记】基础IO(上)

> 文件类型 > - **普通文件**:包含用户数据,如文本文件、二进制可执行文件、图像文件、音频文件等。文本文件可以用文本编辑器打开查看和编辑,二进制文件则包含了机器可执行的指令或特定格式的数据。 > - **目录文件**:用于组织和管理其他文件和目录,类似于 Windows 系统中的文件夹。它包含了指向其他文件和目录的索引信息。 > - **设备文件**:在Linux中,硬件设备也被视为文件,分为字符设备文件和块设备文件。字符设备文件通常用于像串口、终端这样以字符流方式进行数据传输的设备;块设备文件用

GGDxianv的博客 2573

【LE Audio】CAP精讲[1]: 从理论到实操,CAP 协同流程入门全攻略

LEAudio生态中的CommonAudioProfile(CAP)是一个关键协同框架,它通过整合基础音频协议(BAP/VCP/MICP等)构建多设备协同能力。CAP定义了三大核心功能:音频流管理、设备组控制和统一交互服务,解决了传统蓝牙音频在多设备场景下的协同痛点。其规范历经v1.0到v1.0.1的优化,修正了角色定义、连接流程等关键模块,提升设备兼容性。CAP采用严格的语言约定(shall/must/should)和术语体系(ContextType/CCID/协同集),确保不同厂商设备能相互理解。

byte轻骑兵的技术小窝 2万+

caverdock如何使用,一文给你多方案教学!

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值。

**My Coding Family** 1393

Linux之基础IO

Linux之基础IO

2302_81120572的博客 2390

学Simulink--基础储能管理场景实例:基于Simulink的储能SOC均衡控制策略仿真

本文完成了基于 Simulink 的储能 SOC 均衡控制策略仿真,实现了:✅掌握并联系统 SOC 分化机理✅构建基于电流重分配的主动均衡架构✅验证均衡对系统可用容量的显著提升✅实现 SOC 偏差 < 2% 的高精度控制。

amy_mhd的博客 86

Linux——基础IO

Linux——基础IO

Tlzns的博客 1142

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【Linux】基础文件IO

本文深入阐述了Linux系统级文件IO操作的基本概念和接口。通过回顾C语言文件接口,引出更底层的系统调用open、close、write和read,详细解析其参数和功能。重点介绍了文件描述符作为文件操作核心标识的作用,及其默认打开机制(0为标准输入、1为标准输出、2为标准错误)。文章通过代码示例展示了文件创建、读写等基础操作,帮助读者理解Linux文件IO的系统级实现原理,为后续学习更深入的文件管理知识奠定基础。

2301_80955819的博客 3867

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Linux系统-基础IO

Linux下一切皆是文件(磁盘、网卡、显示器、键盘……等等,这些都是抽象化的过程) 成功以写的打开文件不存在的文件会默认先生成这个文件;生成的位置为当前的路径;这是因为cwd记录着当前进程的路径,这个进程打开文件时,也会把文件拼接在这个路径之后:介绍两个函数:fwrite、fread写文件:将msg和cnt格式化写入buffer,再使用fwrite函数将buffer的内容写入myfile文件 作为标准错误流,程序在运行期间遇到错误时,可借助它输出错误信息。将错误信息和正常输出分开

zc331的博客 1748

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

[Linux]基础IO

为何需要两种链接?场景互补:硬链接:适合需要高效、稳定访问同一数据的场景(如日志文件的多个引用)。软链接:适合需要动态路径管理或跨文件系统的场景(如版本切换、快捷方式)。功能差异:硬链接:直接绑定inode,无额外存储开销,但受限于文件系统和目录支持。软链接:通过路径间接引用,灵活但依赖路径有效性。数据安全:硬链接:删除任一链接不影响数据,需所有链接删除后数据才释放。软链接:目标文件删除后需手动修复链接,避免悬挂。

Protein_zmm的博客 988

linux基础IO

经过前面的学习,我们知道了文件 = 文件内容 + 属性(也是数据),所以当我们创建了一个文件并没有给里面写内容时,此时该文件也占有了空间,因为文件的属性也需要空间来存储。所以我们对文件的所有操作就是:(1). 对内容。(2). 对属性。通过上面对文件类系统调用接口的使用,我们发现了这些接口都离不开一个变量,即open系统调用的返回值fd,那么这个fd是什么呢?通过上面的使用我们可以知道close、write、read接口就是靠这个fd来找到要操作的文件,其实这个fd就是文件描述符。

dong132697的博客 478

Linux 基础IO与系统IO

本文系统介绍了文件系统的基础IO与系统IO操作。首先从文件本质(属性+内容)和进程对文件的操作入手,详细讲解了C语言层面的文件读写接口(fopen/fwrite/fread等)及其实现原理。随后深入系统级IO,解析open/write/read/close等系统调用的使用方法和底层机制,特别是文件描述符fd的本质(内核数组索引)和重定向原理(通过dup2修改指针指向)。文章还通过代码示例演示了如何实现简单shell的重定向功能,并分析了进程替换不影响重定向的原因。最后讨论了不同语言对系统调用的封装如何实现跨

2301_79976271的博客 1259

Linux 基础IO

2301_78702377的博客 1102

【Linux】Linux下的基础IO

系统调用的意义与上述的封装的意义很相似。操作系统在管理资源的时候并不相信任何用户的操作,它采取的是一刀切的方式来减少可能发生的危险操作,不让用户直接操作底层数据,但是又要让用户进行上层的操作,于是操作系统便在用户和底层数据之间加上了一层系统调用接口。系统调用接口的存在能很好地规范用户的操作,保护底层的数据我们曾经提出过“Linux下一切皆文件”的观点,那么在这篇关于系统IO的博客中,这个观点又可以如何进行重申呢?今天我们通过对于进程的文件管理进行对“一切皆文件”进行重新审视,我们知道。

MO_lion的博客 328
上一篇: 数据库基础
下一篇: Linux高级IO
pythoncjavac++
博客等级 码龄5年 718粉丝 71原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

pythoncjavac++

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值