IO并发编程及二进制位运算

最新推荐文章于 2024-08-21 21:36:34 发布
原创 最新推荐文章于 2024-08-21 21:36:34 发布 · 169 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析了计算机网络中的IO模型，包括阻塞IO、非阻塞IO、IO多路复用及异步IO的概念与实现。详细介绍了select、poll、epoll等方法在处理多个IO事件时的原理和应用，以及如何通过设置套接字属性提高IO处理效率。

IO 分类

IO分类：阻塞IO ，非阻塞IO，IO多路复用，异步IO等

阻塞IO

1.定义：在执行IO操作时如果执行条件不满足则阻塞。阻塞IO是IO的默认形态。

2.效率：阻塞IO是效率很低的一种IO。但是由于逻辑简单所以是默认IO行为。

3.阻塞情况：

  • 因为某种执行条件没有满足造成的函数阻塞
    e.g. accept input recv
  • 处理IO的时间较长产生的阻塞状态
    e.g. 网络传输，大文件读写
非阻塞IO

代码实现: day9/block_io

  1. 定义 ：通过修改IO属性行为，使原本阻塞的IO变为非阻塞的状态。
  • 设置套接字为非阻塞IO

sockfd.setblocking(bool)
功能：设置套接字为非阻塞IO
参数：默认为True，表示套接字IO阻塞；设置为False则套接字IO变为非阻塞

  • 超时检测 ：设置一个最长阻塞时间，超过该时间后则不再阻塞等待。

    sockfd.settimeout(sec)
    功能：设置套接字的超时时间
    参数：设置的时间

IO多路复用

  1. 定义

同时监控多个IO事件，当哪个IO事件准备就绪就执行哪个IO事件。以此形成可以同时处理多个IO的行为，避免一个IO阻塞造成其他IO均无法执行，提高了IO执行效率。

  1. 具体方案

select方法 ： windows linux unix
poll方法： linux unix
epoll方法： linux

select 方法

代码实现: day10/select_server.py

rs, ws, xs=select(rlist, wlist, xlist[, timeout])
功能: 监控IO事件，阻塞等待IO发生
参数：rlist  列表  读IO列表，添加等待发生的或者可读的IO事件
      wlist  列表  写IO列表，存放要可以主动处理的或者可写的IO事件
      xlist  列表 异常IO列表，存放出现异常要处理的IO事件
      timeout  超时时间

返回值： rs 列表  rlist中准备就绪的IO
        ws 列表  wlist中准备就绪的IO
	   xs 列表  xlist中准备就绪的IO

select 实现tcp服务

【1】将关注的IO放入对应的监控类别列表
【2】通过select函数进行监控
【3】遍历select返回值列表，确定就绪IO事件
【4】处理发生的IO事件

注意

wlist中如果存在IO事件，则select立即返回给ws
处理IO过程中不要出现死循环占有服务端的情况
IO多路复用消耗资源较少，效率较高

@@扩展: 位运算

定义 ： 将整数转换为二进制，按二进制位进行运算

运算符号：

& 按位与
| 按位或
^ 按位异或
<< 左移
>> 右移

e.g.  14 --> 01110
      19 --> 10011

14 & 19 = 00010 = 2  一0则0
14 | 19 = 11111 = 31 一1则1
14 ^ 19 = 11101 = 29 相同为0不同为1
14 << 2 = 111000 = 56 向左移动低位补0
14 >> 2 = 11 = 3  向右移动去掉低位
poll方法

代码实现: day10/poll_server.py

p = select.poll()
功能 ： 创建poll对象
返回值： poll对象

p.register(fd,event)   
功能: 注册关注的IO事件
参数：fd  要关注的IO
      event  要关注的IO事件类型
  	     常用类型：POLLIN  读IO事件（rlist）
		      POLLOUT 写IO事件 (wlist)
		      POLLERR 异常IO  （xlist）
		      POLLHUP 断开连接 
		  e.g. p.register(sockfd,POLLIN|POLLERR)

p.unregister(fd)
功能：取消对IO的关注
参数：IO对象或者IO对象的fileno

events = p.poll()
功能： 阻塞等待监控的IO事件发生
返回值： 返回发生的IO
        events格式  [(fileno,event),()....]
        每个元组为一个就绪IO，元组第一项是该IO的fileno，第二项为该IO就绪的事件类型

poll_server 步骤

【1】 创建套接字
【2】 将套接字register
【3】 创建查找字典，并维护
【4】 循环监控IO发生
【5】 处理发生的IO
epoll方法

代码实现: day10/epoll_server.py

  1. 使用方法 ： 基本与poll相同
    • 生成对象改为 epoll()
    • 将所有事件类型改为EPOLL类型
  2. epoll特点
    • epoll 效率比select poll要高
    • epoll 监控IO数量比select要多
    • epoll 的触发方式比poll要多 （EPOLLET边缘触发）
多路IO复用并发服务器模型
10-30
多路IO复用并发服务器模型d````````````````
IO并发
**kwargs的博客
12-09 294
IO 分类 IO分类：阻塞IO ，非阻塞IO，IO多路复用，异步IO等 阻塞IO 1.定义：在执行IO操作时如果执行条件不满足则阻塞。阻塞IO是IO的默认形态。 2.效率：阻塞IO是效率很低的一种IO。但是由于逻辑简单所以是默认IO行为。 3.阻塞情况： 因为某种执行条件没有满足造成的函数阻塞 e.g. accept input recv 处理IO的时间较长产生的阻塞状态 e...
Java IO: 并发IO
ifeves的博客
12-09 236
有时候你可能需要并发地处理输入和输出。换句话说，你可能有超过一个线程处理输入和产生输出。比如，你有一个程序需要处理磁盘上的大量文件，这个任务可以通过并发操作提高性能。又比...
并发： IO模型
Hanks-Wang的博客
08-07 1490
并发： IO模型参考博客：聊聊并发，Part 1：IO模型1. 内核级别的IO1.1 同步IO vs 异步IO看过很多版本对于这些概念的描述，我觉得来自POSIX标准的这个判断准则最简单也最容易理解： 从发出IO操作请求开始到IO操作结束的过程中没有任何阻塞，就称为异步，否则为同步 1.2 IO 的两个阶段那么，问题来了，从请求开始到操作完成，IO具体做了什么呢？其实，IO可以分为两个阶段，以s
iOS并发开发简要整理（上）
liulushi_1988的专栏
09-29 995
在多核处理器没有大范围使用开来的时候，就有了多线程的概念，iOS的并发开发也不是新东西了。本篇文章主要是对iOS开发当中经常涉及到的并发内容所做的简要整理，把学过的用过的东西重新整理到笔头上。 0. 并发的初衷 记得大学上专业课的时候，老师曾经经常提问一个问题——“并发”vs.“并行”。简单对比下，并行基本上就是同时进行，而并发不一定保证两个线程同一时刻在同时作业，而可以体现为同一个时间段内各
服务器并发IO模型
samson
07-12 551
1.影响网络性能的因素 CPU cache miss、perf、sse4、内存拷贝、系统调用、进程切换 内存 空间换时间、GC、内存泄漏 磁盘 IOPS、带宽、随机/顺序读写、PageCache 网络 网卡、内核参数、异步与同步、并发 ...
简要概述网络I/O与并发
田螺姑娘的博客
11-25 3602
简要概述网络I/O与并发 以下内容可能存在错误，由博主自主查阅资料所得，仅作参考。   计算机的基本组成其实很简单，处理器，存储器加上输入输出设备就构成了计算机。大至超级计算机，小到手机发等都是一样的模型组成。计算的本质就是从输入设备读取数据处理后输出。可以理解计算机做的事就是IO和计算。   在网络发明之前，计算机从存储设备中读取数据，进程通过内存通道进行通信。互联网诞生之后，越来越多计算机通过互联网连接，将数据传输到世界各地。计算机之间可以通信，本质上也是计算机进程之间互相通信。为了方便不同终端进行
针对IO的并发
weixin_45459648的博客
08-21 741
IO 操作指的就是数据的输入输出操作；IO 过程可以分为两个步骤：等待 IO 就绪、数据拷贝指进程触发IO操作后会阻塞用户进程，用户等待请求数据到达的过程。指进程触发IO操作后不会阻塞用户进程。，进程触发IO操作是否会阻塞用户进程，用户的cup此时是否释放，所以同步异步针对的是用户进程。指用户进程触发IO操作后，触发read()等待内核将数据copy到用户空间的过程(select 也是一种阻塞IO)。
java io线程_Java IO: 并发IO
weixin_33905037的博客
02-12 152
原文链接 作者: Jakob Jenkov 译者: 李璟有时候你可能需要并发地处理输入和输出。换句话说，你可能有超过一个线程处理输入和产生输出。比如，你有一个程序需要处理磁盘上的大量文件，这个任务可以通过并发操作提高性能。又比如，你有一个web服务器或者聊天服务器，接收许多连接和请求，这些任务都可以通过并发获得性能的提升。如果你需要并发处理IO，这里有几个问题可能需要注意一下：在同一时刻不能有多个...
关于I/O与并发
kaydenlsr
09-15 908
由于笔者在之前发布的一文玩转NGINX中提到过I/O复用模型，在此另起一篇文章简述相关技术。I/O输入/输出(Input/Output)，分为IO设备和IO接口两个部分。在POSIX兼容的系统上，例如Linux系统 [1]，I/O操作可以有多种方式，比如DIO(Direct I/O)，AIO(Asynchronous I/O，异步I/O)，Memory-Mapped I/O(内存映射I/O)等，不同的I/O方式有不同的实现方式和性能，在不同的应用中可以按情况选择不同的I/O方式。
并发式IO、IO多路复用
m0_54711064的博客
09-14 831
IO多路复用(select、poll、epoll)
文件系统 IO 并发 一致性
ndcnb的专栏
06-14 1636
文件系统 IO 并发 一致性周末随意总结了一下文件系统抽象下的存储系统的并发和一致性。希望有兴趣的同学可以一起研究下。另外可能会再写一些这些和io流在c++中是如何适配的
Linux I/O复用之poll函数
嵌入式与人工智能
10-26 502
一、回顾前面的select select优点： 目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点 select缺点： 1.每次调用 select()，都需要把 fd 集合从用户态拷贝到内核态，这个开销在 fd 很多时会很大，同时每次调用 select() 都需要在内核遍历传递进来的所有 fd，这个开销在 fd 很多时也很大。 2.单个进程能够监视的文件描述符的数量存在最大限制，在 Linux 上一般为 1024，可以通过修改宏定义甚至重新编译内核的方式提升这一限制，但是这样也会造成效率的降低 二
IO高并发模型
Potato_10的博客
07-22 328
一、IO概念   IO (Input/Output，输入/输出)即数据的读取（接收）或写入（发送）操作。   通常用户进程中的一个完整IO分为两阶段： （1）设备空间（磁盘、网络等）  到   内核空间； （2）内核空间   到   用户进程空间。   IO有内存IO、网络IO和磁盘IO三种，通常我们说的IO指的是后两者。   Linux中进程无法直接操作I/O设备，其必须通过系统调用来协助完成I/O动作；内核会为每个I/O设备维护一个缓冲区。   对于一个输入操作来说，进程IO系统调用后，内核会先看缓冲
并发式IO的解决方案
1
09-29 330
《朱老师物联网大讲堂》学习笔记           学习地址：www.zhulaoshi.org 非阻塞IO，如果没有读到东西，就立即返回， 改变标准输入为非阻塞式的， flag = fcntl( 0, F_GETFL ); flag |= O_NONBLOCK； fcntl( 0, F_GETFL, flag ); 非阻塞打开鼠标， fd = open(
Java IO NIO 并发 锁 详解
NickWU博客
04-06 1808
文章目录IOIO的定义与类型字节流字符流IO模型同步IO和异步IO同步IO阻塞IO非阻塞IO异步IO并发并发概念线程的使用线程的状态其他概念CPU密集型 vs IO密集型并发深入并发优缺点线程安全并发实战CAS锁并发集合和工具多线程优化总结 IO IO的定义与类型 I/O，即 Input/Output(输入/输出) 的简称。指的是计算机与外部世界或者一个程序与计算机的其余部分的之间的接口。 IO分...
什么编程语言要使用二进制来写
最新发布
07-17
### 二进制在编程语言中的使用情况 某些编程语言在开发过程中需要直接处理或编写二进制数据，尤其是在与硬件交互、网络通信、嵌入式系统、图像处理等领域。这些语言通常允许开发者操作底层内存、位运算和原始字节流，以实现对数据的高效控制。 #### 汇编语言 汇编语言是一种低级语言，其指令与机器码一一对应，因此在本质上就是通过助记符来表示二进制代码。程序最终会被汇编器转换为对应的二进制指令，供计算机执行[^3]。例如： ```asm MOV AX, 0x1234 ADD AX, 0x0001 ``` 上述代码表示将十六进制数 `0x1234` 移动到寄存器 `AX` 中，然后加 `1`。这种语言非常适合操作系统内核、驱动程序等底层开发工作。 #### C/C++ C 和 C++ 是广泛用于系统级编程的语言，它们提供了对内存地址、指针和原始二进制数据的访问能力。例如，在网络传输中，常需将结构体序列化为二进制流进行发送： ```cpp #include <iostream> #include <fstream> struct Data { int id; float value; }; int main() { Data d = {1, 3.14f}; std::ofstream file("data.bin", std::ios::binary); file.write(reinterpret_cast<char*>(&d), sizeof(d)); file.close(); } ``` 这类语言支持按字节操作内存，适合开发高性能应用、嵌入式系统和游戏引擎等[^2]。 #### Python 尽管是高级语言，Python 同样具备强大的二进制处理能力。它可以通过内置模块如 `struct`、`bitarray` 或第三方库（如 NumPy、Pillow）处理图像、音频等二进制数据。例如，使用 `struct` 打包和解包二进制数据： ```python import struct # 将整数和浮点数打包成二进制格式 packed_data = struct.pack('i f', 1, 3.14) print(packed_data) # 解包二进制数据 unpacked_data = struct.unpack('i f', packed_data) print(unpacked_data) ``` 此外，Python 还可用于图像处理中的二进制操作，如使用 OpenCV 对图像进行裁剪和保存[^4]。 #### Rust Rust 是一种现代系统编程语言，强调安全性和性能。它支持底层内存操作，并能高效处理二进制数据，适用于加密算法、区块链开发、嵌入式设备等场景。例如，读取一个二进制文件的内容： ```rust use std::fs::File; use std::io::Read; fn main() -> std::io::Result<()> { let mut file = File::open("example.bin")?; let mut buffer = Vec::new(); file.read_to_end(&mut buffer)?; println!("Read {} bytes", buffer.len()); Ok(()) } ``` Rust 的所有权模型确保了内存安全，同时保持接近 C 的性能水平。 #### Go (Golang) Go 语言也支持高效的二进制处理，尤其在并发和网络服务方面表现出色。它提供标准库如 `encoding/binary` 来处理结构化的二进制数据： ```go package main import ( "bytes" "encoding/binary" "fmt" ) type Data struct { ID int32 Value float32 } func main() { var data Data = Data{ID: 1, Value: 3.14} buf := new(bytes.Buffer) err := binary.Write(buf, binary.LittleEndian, data) if err != nil { fmt.Println("binary.Write failed:", err) } fmt.Printf("%v\n", buf.Bytes()) } ``` 这使得 Go 成为构建后端服务、协议解析器的理想选择。 #### 其他语言 - **Java**：虽然 Java 抽象了底层细节，但依然可通过 `ByteBuffer` 和 NIO API 实现高效的二进制数据操作。 - **C#/.NET**：提供 `BinaryReader` 和 `BinaryWriter` 类，用于读写二进制文件，常见于游戏开发和 Windows 应用中。 - **MATLAB / Octave**：支持读写各种二进制文件（如 `.mat` 文件），并进行科学计算和信号处理。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值