网络编程-汇总

最新推荐文章于 2022-04-29 10:28:07 发布

原创最新推荐文章于 2022-04-29 10:28:07 发布 · 置顶 · 465 阅读

1 ·

CC 4.0 BY-SA版权

网络编程专栏收录该内容

5 篇文章

订阅专栏

总结

重点：

I/O模型
线程模型
select、poll、epoll
socket原理
实践总结

计算机网络理论

网络编程懒人入门系列（转载自ruanyifeng.com）

网络编程懒人入门(一)：快速理解网络通信协议（上篇）
个人总结：
实体层：传输0和1。
链路层：对01数据进行分组，称为“帧(Frame)”，地址为指定mac地址。范围在内网。
网络层：指定我方和对方的ip，范围在内网及内网之间。
传输层：TCP、UDP，指定端口。
应用层：规定数据格式

网络编程懒人入门(二)：快速理解网络通信协议（下篇）

网络编程懒人入门(三)：快速理解TCP协议一篇就够

网络编程懒人入门(六)：史上最通俗的集线器、交换机、路由器功能原理入门

网络编程懒人入门(七)：深入浅出，全面理解HTTP协议
附上面连接的一张图：
在这里插入图片描述

cookie&session

理解Cookie和Session机制

深入系列

四次挥手在一些情况下实际上是可以合并成3次的。
不为人知的网络编程(一)：浅析TCP协议中的疑难杂症(上篇)
通过抓包深入学习传输层的数据
不为人知的网络编程(八)：从数据传输层深度解密HTTP
总结：抓包可以看到请求包含ip标头+TCP标头+HTTP请求

网络编程

理论

socket

socket原理： https://blog.youkuaiyun.com/pashanhu6402/article/details/96428887
注意：socket()会创建一个文件描述符，后续的操作都是对这个文件描述符fd进行操作，并且每次调用socket都会涉及用户态到内核态的切换。

socket演示与实战：https://blog.youkuaiyun.com/bintoYu/article/details/106641859 （写的很烂）

IO 模型、线程模型

为什么要讲IO？

redis用到了epoll、nginx用到epoll，netty用到epoll和nio。
在这里插入图片描述

预备知识：用户态、内核态

详见操作系统笔记。
本文中的用途：如果一个应用想调用IO，则必须用到内核！

IO模型

先读《高性能网络编程(五)：一文读懂高性能网络编程中的I/O模型

个人注意：以socket通信为例，文中的应用程序指的就是我们new出来的线程，阻塞的是我们的线程。

线程模型

然后再读《高性能网络编程(六)：一文读懂高性能网络编程中的线程模型》

java New IO

其中BIO、NIO部分可阅读《https://blog.youkuaiyun.com/bintoYu/article/details/90480649》进行补充

SELECT、POLL、EPOLL

场景：有100万用户同时与一个进程保持着TCP连接，而每一时刻只有几十个或几百个TCP连接是活跃的(接收TCP包)

IO多路复用的三种机制Select，Poll，Epoll(需要提前看I/O模型才能更好理解本篇内容)
epoll详解：epoll原理详解及epoll反应堆模型
epoll个人快速总结：

分为三步epoll_create、epoll_ctl、epoll_wait
内核中的结构为红黑树+链表，红黑树保存所有添加到epoll的事件，链表readylist保存着将要通过epoll_wait返回给用户的事件。
因此可以看到，最关键的就是如何知道红黑树里哪些事件好了，并将其发送到链表中？所有添加到epoll中的事件都会与设备(如网卡)驱动程序建立回调关系，也就是说相应事件的发生时会调用回调方法，将事件送到链表中。

linux零拷贝（零拷贝）技术

什么是零拷贝？mmap与sendFile的区别是什么？
个人理解：
传统io：

如果没有缓存，则先从磁盘中读出来放到操作系统内核缓冲区中：（DMA传输）
从内核缓冲区拷贝到应用程序缓冲区（需要用到cpu进行拷贝），然后对数据进行处理。
从应用拷贝到与网络相关的内核缓冲区（socket缓冲区）中，（需要用到cpu进行拷贝）
将数据发送到网卡上（DMA传输）

一共需要三次上下文切换、四次拷贝（两次cpu两次DMA）：

零拷贝：

直接I/O，应用程序可以直接访问存储硬件以及网络硬件接口。
mmap()：应用程序和内核共享缓存，这样就能减少一次内核->应用程序的cpu拷贝。但是不减少上下文切换次数。
缺点：当对文件进行了内存映射，然后调用 write() 系统调用，如果此时其他的进程截断了这个文件，那么 write() 系统调用将会被总线错误信号 SIGBUS 中断。
解决方案：使用文件租借锁。
带有 DMA 收集拷贝功能的 sendfile()：前提是应用程序不需要对数据做任何处理，内核缓存数据不经过用户态，直接DMA拷贝给网卡。最终版能减少一次上下文切换，减少两次cpu拷贝（真正实现cpu零拷贝）