后端开发【一大波有用知识】网络通信模型和网络IO管理

windows上的5种网络通信模型示例代码 一些好设计的经验: linux网络: 高性能网络编程IO复用和Epoll高效率之处-遍历的集合更小空间换时间/水平触发和边缘触发主动返回。 反应堆的设计模式-避免C风格的一个应用逻辑都需要处理多个对象而是用OO设计模式方式分离。 windows网络: select模型,WSAAsyncSelect模型,WSAEventSelect模型,重叠Overlapped IO模 阅读详情

简单的C/S通信模型(accept阻塞的话,就只能一个客户端接进来)

socket()函数

//函数原型。返回:若是成功则为非负数,如出错则为 -1
int socket(int domin, int type, int protocol);
 
//调用 参数1:使用多少位地址AF_INET 为32,参数2:数据报的类型。 参数3:TCP/UDP 协议
int clientfd = socket(AF_INET, SOCK_STREAM, 0);

connect() 函数,用来向服务器建立连接

//函数原型。 返回:成功为 0, 出错为 -1
int connect(int clientfd, const struct sockaddr *addr, socklen_t addrlen );

bind()函数,绑定地址

//函数原型 返回:成功为 0,出错为 -1
int     bind(int, const struct sockaddr *, socklen_t) __DARWIN_ALIAS(bind);
//使用:
    struct sockaddr_in _addr;
    _addr.sin_family = AF_INET;
    _addr.sin_port = htons(8888);
    _addr.sin_addr.s_addr = INADDR_ANY;
 
    bind(sockfd, (sockaddr *)&_addr, sizeof(_addr) );

listen() 函数,将sock从一个主动套接字转为一个监听套接字

//函数原型,返回一个非负数的连接描述符
int  listen(int sockfd, int backlog);

accept()函数,等待来自客户端的连接请求,到达监听描述符,然后在adr中填写客户端的套接字地址,并返回一个已连接描述符

int accept(int listenfd, struct sockaddr *addr, int *addrlen);

一个类似以上模型的小故事:

#include <netinet/tcp.h>
#include <arpa/inet.h>
#include <errno.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
using namespace std;
 
int main()
{
    int sockfd = socket(AF_INET, SOCK_STREAM, 0);//创建socket
 
    struct sockaddr_in _addr;
    _addr.sin_family = AF_INET;
    _addr.sin_port = htons(8888);
    _addr.sin_addr.s_addr = INADDR_ANY;
    socklen_t socklen = sizeof(_addr);
    bind(sockfd, (sockaddr *)&_addr, socklen );
 
    int listenfd = listen(sockfd, 0);
    struct sockaddr_in clientAddr;
    socklen_t clientlen = sizeof(clientAddr); 
 
    for (;;){
        int client_sockfd = accept(sockfd,(sockaddr *)&clientAddr, &clientlen);
        char buffer[1024] = {0};
        //等待用户发信息
        ssize_t len_recv = recv(client_sockfd,buffer,1024,0);
        //不做错误处理
        printf("Recv:%s, %d Bytes\n", buffer, len_recv);
        //给用户发信息
        send(client_sockfd,buffer,len_recv,0);
        //关闭这个连接
        close(client_sockfd);
    }
    close(sockfd);
    
 
    return 0;
}

socket 五元组标识 :<客户端地址,客户端端口,服务器地址,服务器端口,使用的协议tcp/udp>,五元组中的任何一个元素发生变化都表示一个新的客户端socket连接。

C++后台开发系统学习地址:C/C++Linux服务器开发高级架构师/C++后台开发架构师​

以下C++后台开发学习资料,面试题,教学视频,C++后台开发学习路线图,免费分享有需要的可以自行添加:学习资料群720209036 自取

网络IO

网络IO会涉及到两个系统对象,一个是用户空间调用IO的进程或线程,另一个是内核空间的内核系统,比如发生IO操作read时,它会经历两个阶段:

等待数据准备就绪(数据准备)

将数据从内核拷贝到进程或者线程中。(数据读写)

因为在以上两个阶段上各有不同的情况,所以出现了多种网络IO模型

阻塞,非阻塞,同步,异步

五种IO网络模型

阻塞IO(blocking IO)linux默认情况下都是阻塞IO

当用户进程调用了read系统函数,内核就开始第一阶段数据的准备。对于网路IO来说,很多时候数据在一开始还没有到达(比如,还没有收到一个完整的数据包),这个时候 内核 就要等待足够的数据到来。而在用户进程这边,整个进程会被阻塞(数据一直没准备好,就会一直空占CPU)。当 内核一直等到数据准备好了,它就会将数据从 内核 中拷贝到用户内存,然后 内核 返回结果,用户进程才解除 阻塞 的状态,重新运行起来。

非阻塞 (non-blocking IO)

从上图可以看出,应用进程调用了read函数之后,立刻就有结果返回,这个结果给用户判断结果是个error时,它就知道数据没有准备好,于是它再次发送read函数。直到内核中的数据准备好,并且又再次收到用户进程的system call,那么它马上就将数据拷贝到用户内存,然后返回。所以非阻塞模式IO中,用户进程其实就是不断的主动询问内核数据准备好了没有。 recv() 返回值大于0时,表示接受数据完毕,返回值既是接收到的字节数 recv() 返回0,表示连接已正常断开; recv() 返回-1,且errno等于EAGAIN,表示recv操作还没执行完成;如果errno不等于EAGAIN,表示recv操作遇到系统错误errno 设置非阻塞: fcntl( fd, F_SETFL, O_NONBLOCK ); 不推荐使用,因为循环调用read(),会占用大量资源

IO多路复用

当用户进程调用了 select,那么整个进程会被 block,而同时,kernel 会“监视”所 有 select 负责的 socket,当任何一个 socket 中的数据准备好了,select 就会返回。这个时候用户进程再调用 read 操作,将数据从 kernel 拷贝到用户进程。这个图和 blocking IO 的图其实并没有太大的不同,事实上还更差一些。因为这里需要使用两个系统调用(select 和 read),而 blocking IO 只调用了一个系统调用(read)。但是使用 select 以后最大的优势是用户可以在一个线程内同时处理多个 socket 的 IO 请求。用户可以注册多个 socket,然后不断地调用 select 读取被激活的 socket,即可达到在同一个线程内同时处理多个 IO 请求的目的。而在同步阻塞模型中,必须通过多线程的方式才能达到这个目的。(所以,如果处理的连接数不是很高的话,使用select/epoll 的 web server 不一定比使用 multi-threading + blocking IO 的 web server 性能更好,可能延迟还更大。select/epoll 的优势并不是对于单个连接能处理得更快,而是在于能处理更多的连接。)

信号驱动 (signal-driven)

内核在第一阶段是异步,在第二个阶段是同步;于非阻塞IO的区别在于它提供了消息通知机制,不需要用户进程不断的轮询检查,减少了系统API的调用次数,提高效率

异步(asynchronous)

​

struct aiocb { int aio_fildes off_t aio_offset volatile void *aio_buf size_t aio_nbytes int aio_reqprio struct sigevent aio_sigevent int aio_lio_opcode }

用户进程发起 read 操作之后,立刻就可以开始去做其它的事。而另一方面,从 kernel的角度,当它受到一个 asynchronous read 之后,首先它会立刻返回,所以不会对用户进程产生任何 block。然后,kernel 会等待数据准备完成,然后将数据拷贝到用户内存,当这一切都完成之后,kernel 会给用户进程发送一个 signal,告诉它 read 操作完成了。

总结:经上面的介绍,会发现non-blocking IO 和asynchronous IO的区别还是很明显的。在non-blocking IO中,虽然进程大部分时间都不会被block,但是它仍然要求进程主动的check,并且当数据准备完成以后,也需要进程主动的再次调用recvfrom来将数据拷贝到用户内存。 而asynchronous IO则完全不同。它就像是用户进程将整个IO操作都交给了内核去完成,然后内核做完后发信号通知。在此期间,用户进程不需要去检查IO操作的状态,也不需要主动的去拷贝数据。

C++ IO多路复用 select模型 网络通信本质是IO操作.了解网络通信先了解IO进程的IO主要分为阻塞IO和非阻塞IO,对IO请求的响应分为同步(进程等待IO响应)和异步(进程不等待)常见的阻塞IO包括操作系统提供的系统调用如读,写. 非阻塞包括多路IO复用等模型阻塞IO:进程在IO操作时需要挂起等待非阻塞IO:进程IO操作时立即返回IO复用:利用操作系统实现对一组IO通信管理。 阅读详情

相关推荐

【10. Wi-Fi 通用模组-小米 IoT 平台-如何进行硬件调试】

调试APP功能:从米家服务器缓存读取设备状态,等同于米家APP 的环境,开发者使用该调试器可模拟用户使用设备的实际情况,即调试米家 App 中的扩展程序。- 调试固件:调试器从固件读取设备状态,用于调试设备模组固件的某个单项功能,开发者使用该调试器可针对性地调试设备的某个功能。小爱语控测试工具:如果当前产品可被小爱语控,则可以使用该工具调试语控效果。调试APP功能(云端缓存)

tuoyuanO的博客 1044

Socket学习总结系列(一) -- IM & Socket

写在准备动手的时候: Socket通讯在iOS中也是很常见,自己最近也一直在学习Telegram这个开源项目,Telegram就是在Socket的基础上做的即时通讯,这个相信了解这个开源项目的也都知道,希望自己能慢慢的了解一下它的这个MtProtoKit开源协议,即时通讯这一块的东西我以前写过一篇《iOS 即时通讯 + 仿微信聊天框架 + 源码》,从点击量看的出来真的...

weixin_30737363的博客 253

Windows系统下搭建MPI(并行计算)环境

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.youkuaiyun.com/jiangjunshow也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;W

weixin_43417960的博客 5752

Linux C语言 取得MTU (最大传输单元)

参照这篇博客: http://www.geekpage.jp/programming/linux-network/book/04/4-21.php * 查看主机当前网卡,哪块在使用. ifconfig    lo0: flags=8049&lt;UP,LOOPBACK,RUNNING,MULTICAST&gt; mtu 16384 options=3&lt;RXCSUM...

fareast_mzh的博客 2533

基于Python的微信聊天记录分析——数据获取

本篇为“基于Python的微信聊天记录分析”第一篇,主要涉及数据获取,包括Python环境配置、WeChatMsg项目配置和运行、获取聊天记录等内容,流程简单、比较基础,后续这个系列会涉及基于Python的数据处理、统计分析、NLP技术等内容。希望和大家多多交流,共同进步!

Henryli1202的博客 1万+

ESP32-S3开发板实战:5分钟搞定智能门铃的音视频通话功能(附源码)

本文详细介绍了如何利用乐鑫ESP32-S3开发板快速实现智能门铃的实时音视频通话功能。通过ESP-ADF框架和RTC服务,开发者可在五分钟内完成环境搭建与核心功能调试,并附有源码和关键配置详解,为嵌入式音视频应用开发提供了高效实践路径。

web99的专栏 529

计算机网络(一)——网络编程

一、Linux网络模型 Linux中网络栈的介绍一般分为四层的Internet模型: TCP/IP协议族体系结构及主要协议: 1、TCP/IP协议族 TCP/IP实际上是一个协同工作的通信家族,为网络通信提供通路。为方便讨论TCP/IP协议族,大体上分为三部分: Internet协议(IP)。 传输控制协议(TCP)和用户数据报协议(UDP)。 处于TCP和UDP之上的一组应...

iotflh的博客 3703

IO Virtualization with Virtio.part 2 [十三]

通过对virtio_device_id 中的 device 和 vendor 的值进行比较,我们找到对应的 virtio 驱动,由于这里我们使用 i2c virtio 为例,所以调用 virtio_i2c_probe 进行 virtio i2c 设备的初始化。在和 virtio mmio 设备交互时我们会读取 VIRTIO_MMIO_DEVICE_ID 和 VIRTIO_MMIO_VENDOR_ID,并将其值写入 virtio_device_id 中,这个就会用作后面和 virtio 设备驱动的匹配参数。

cxjczy1990的博客 1212

网络通信和IO(1):网络通信与IO基本概念/什么是IO,什么是网络通信/文件IO和网络IO的区别/什么是文件描述符/什么是阻塞IO(BIO)/什么是非阻塞IO(NIO)/JAVA中的IO

IO和网络通讯基础概念 首先要从冯诺依曼说起,由他提出的计算机体系结构: 计算器控制(CPU…) ——> 主存(内存…) ——> 输入输出(硬盘、网卡、显示器、键盘…) IO说白了就是输入输出,宏观角度讲可以分为IO设备和IO接口两个部分,IO设备就是输入输出设备,IO设备的工作方式可以由程序进行控制的。IO接口可以理解为 “计算机和其他计算机”,或者 ,“程序与计算机的IO设备”之间的传输接口。 IO它对于任何计算机系统都非常关键,因为所有 I/O 的主体实际上是内置在操作系统中的。程序一

qq_40373699的博客 5676

matlab电子科技大学数学实验期末模拟35道(1)

【代码】matlab电子科技大学数学实验期末模拟35道。

c_wrj_的博客 2045

如何给数据添加高斯白噪声?

首先测试集应该是加噪声的,至于训练集需不需要加噪声就见仁见智了。我个人测试的结果是,训练集如果不加噪声的话效果特别差,如果加噪声的话效果就比较好接受,大家可以自己试试看。在轴承故障研究中免不了要涉及到给数据主动加入噪声的情况,一般我们加的是高斯白噪声。由于热噪声是由大量自由电子的运动产生的,其统计特性服从高斯分布,故常将热噪声称为高斯白噪声。的频谱是均匀分布的,好像白光的频谱在可见光的频谱范围内均匀分布那样,所以热噪声又常称为。定义一:如果一个噪声,它的瞬时值服从。又是均匀分布的,则称它为高斯白噪声。

weixin_50642818的博客 5220

bind()函数

bind()函数 #include #incude int bind( SOCKET s, const struct sockaddr FAR *name, int namelen ); (1)这个函数接收三个参数。第一个参数s指定要绑定的套接字,第二个参数指定了该套接字的本地地址信息,是指向sockaddr结构的指针变量,由于该地址结构是为所有的地址家族准备的

pjz969的专栏 624

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

网络通信 IO 模型学习总结基础强化

本文摘要: 网络通信采用分层设计(如OSI七层和TCP/IP四层模型)以降低复杂度、提高可维护性和实现标准化互操作。核心层包括物理层(比特流传输)、数据链路层(帧组装)、网络层(IP路由)、传输层(TCP/UDP端到端传输)及应用层(HTTP等协议)。Socket作为网络编程接口,屏蔽底层协议细节。I/O模型方面,同步阻塞I/O效率低,同步非阻塞需轮询检测,I/O多路复用(select/poll/epoll)通过内核事件通知机制显著提升性能;异步I/O由内核全权处理但Linux支持不足。当前高并发场景主要采

qq_39493345的博客 746

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

网络通信模型详解

在网络环境下,通俗的讲,将IO分为两步: 1.等; 2.数据搬迁。 如果要想提高IO效率,需要将等的时间降低。 五种IO模型包括:阻塞IO、非阻塞IO、信号驱动IO、IO多路转接、异步IO。其中,前四个被称为同步IO。 在介绍五种IO模型时,我会举生活中钓鱼的例子,加深理解。 1.阻塞IO(blocking I/O) A拿着一支鱼竿在河边钓鱼,并且一直在鱼竿前等,在等的时候不做其他的事...

雪雪 2793

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

一文搞懂网络通信的基石✅IO模型与零拷贝

IO模型的提出是为了解决CPU在内存的速度与外部设备加载到内存速度的差异在操作系统中为了安全使用系统资源,IO时会涉及到用户态、内核态的切换IO阶段通常分为准备数据和拷贝数据,准备数据主要由DMA将外部设备数据拷贝到内核缓冲区,拷贝数据是将内核缓冲区拷贝到用户缓冲区同步阻塞IO模型(BIO)发起系统调用后会阻塞到数据拷贝完成,不适合处理高并发网络通信的场景同步非阻塞IO模型使用轮询的方式判断数据是否就绪,就绪再同步阻塞等待数据拷贝。

关注菜菜的后端私房菜,获取更多技术干货~ 1126

IO操作在网络通信中起着核心的作用,在网络编程中,IO通常指的是输入输出,主要涉及到数据的读取和写入

IO操作在网络通信中起着核心的作用。在网络编程中,IO通常指的是输入输出,主要涉及到数据的读取和写入。让我们更详细地了解这些操作在网络通信中的应用。

[Blog][Domain] programb.blog.youkuaiyun.com 991

【Linux网络#18】五种 IO 模型

同步I/O(前四种)需进程主动参与数据拷贝,异步I/O则完全由内核处理。实际开发中,多路复用凭借成熟度高、资源利用率优(如Nginx、Redis)成为主流选择。优化I/O效率需结合非阻塞调用、零拷贝技术(如sendfile)和批量处理策略,通过降低等待时间与拷贝次数提升吞吐量。同步与异步的核心区别在于进程是否需等待I/O完成,选择时需权衡场景需求与实现复杂度。

island1314的博客 1475

Linux--IO模型与高级IO重要概念

在计算机中,IO通常用于与外部设备通信,这些设备包括键盘、鼠标、打印机、显示器、网络等。在网络通信上,主要表示在计算机与计算机之间能通过互联网来进行数据交换,从而实现远程数据与资源的共享。

m0_74068921的博客 3022

网络io模型

所谓的I/O就是计算机内存与外部设备之间拷贝数据的过程。我们知道CPU访问内存的速度远远高于外部设备,因此CPU是先把外部设备的数据读到内存里,然后再进行处理。请考虑一下这个场景,当你的程序通过 CPU向外部设备发出一个读指令时,数据从外部设备拷贝到内存往往需要一段时间,这个时候CPU没事干 了,你的程序是主动把CPU让给别人?还是让CPU不停地查:数据到了吗、数据到了吗…这就是I/O模型要解决的问题。

sinat_34814635的博客 980

Linux如何实现网络通信

Linux如何实现网络通信网络IO模型同步和异步阻塞和非阻塞五种I/O模型Linux内核的网络通信Linux下的IO复用文件描述符FDselectpollepollselect、poll、epoll的比较支持一个进程所能打开的最大连接数FD剧增后带来的IO效率问题消息传递方式epoll高效原理和底层机制分析从硬件角度看待数据传输网卡CPU和操作系统 网络IO模型 同步和异步   关注的是调用方是否主动获取结果   同步:调用方主动等待结果的返回   异步:调用法不需要等待,而是通过别的方法,比如:回调函数,

qq_39728274的博客 2184

网络通信,UDP.TCP协议

网络通信,UDP.TCP协议 网络通信 计算机网络 是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统,网络管理软件及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。 网络编程 就是用来实现网络互连的不同计算机上运行的程序间可以进行数据交换。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 网络通信三要素 IP地址:InetAddress 网络中设备的标识,不易记忆,可用主机名 端口号 用于标识进程的逻辑地址,不同进程的标识

shaonianayang的博客 3600

Android面试题之Java网络通信基础知识

本文首发于公众号“AntDream”,欢迎微信搜索“AntDream”或扫描文章底部二维码关注,和我一起每天进步一点点。

AntDream的程序世界 2083

训练大模型必须掌握的系统知识:进程、线程、内存、IO、网络全解析

在进行大模型训练时,仅掌握 Python 和深度学习框架还不够。你还需要具备系统层面的知识,才能理解并优化模型在 GPU 上的执行效率、内存管理、网络通信等。本文总结了训练 LLM(大语言模型)过程中最常用的操作系统与通信机制知识。

qq_36633599的博客 433

网络IO以及socket编程

再回头来看socket技术,我们大概知道了socket是基于TCP/IP上的通信技术,可是它到底位于网络模型的哪个位置(或哪一层)?可靠传输的目的是我们要尽可能地让接收方接收到发送方发送的数据,因此我们需要向发送方回复确认信息,或者说接收方进行检查。关于流式传输,举一个例子,发送方发送“hello”,数据回像水流一样传输过去,即h,e,l,l,o会依次发送到接收方。:当一个IO操作(如read或write)被调用时,如果操作不能立即完成,调用线程将被阻塞,直到操作完成。当IO操作完成时,程序会收到通知。

2403_85810926的博客 2121

c++应用网络编程之二网络的IO模型

网络服务端编程是复杂的,要先从宏观上把网络通信的相关机制搞清楚。这样才能更好的在开发过程中明白一些细节的掌控,而不至于迷失在细节当中。这个系列会从顶层一点点的抽丝剥茧的把相关背景和技术栈分析展开,并对它们的相对关系进行分析说明。某些具体的细节如果不必要就不展开了,请大家自行查阅相关书籍或者资料。

fpcc的专栏 1161
上一篇: 腾讯阿里工程师所热衷的DPDK到底是个什么东西?该如何学习?
下一篇: TCP三次握手、四次挥手以及TIME_WAIT详解
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值