epoll accept 惊群

最新推荐文章于 2024-10-28 20:26:38 发布

转载最新推荐文章于 2024-10-28 20:26:38 发布 · 599 阅读

文章标签：

#epoll accept 惊群

linux 同时被 2 个专栏收录

29 篇文章

订阅专栏

网络

18 篇文章

订阅专栏

本文介绍 Linux 中 epoll 新增的 EPOLLEXCLUSIVE 选项如何解决新建连接的‘惊群’问题。通过使用 add_wait_queue_exclusive 函数，在监听套接字的 sk_sleep 队列中只唤醒一个等待源，有效避免了因多个进程同时被唤醒而产生的资源浪费。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Epoll 新增 EPOLLEXCLUSIVE 选项解决了新建连接的’惊群‘问题

epoll最终和accept一样解决了新建连接的惊群问题 patch地址：
https://github.com/torvalds/linux/commit/df0108c5da561c66c333bb46bfe3c1fc65905898
patch比较简单，下面摘录了一部分关键修改~~

在加入listen socket的sk_sleep队列的唤醒队列里使用了 add_wait_queue_exculsive()函数，当tcp 收到
三次握手最后一个 ack 报文时调用sock_def_readable时，只唤醒一个等待源，从而避免’惊群‘.
调用栈如下：

[cpp]view plain copy 
   
 //  tcp_v4_do_rcv()  
 //  
 //  -->tcp_child_process()  
 //  
 //  --->sock_def_readable()  
 //  
 //  ---->wake_up_interruptible_sync_poll()  
 //  
 //  ----->__wake_up_sync_key()  

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

香烟头

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Epoll 新增 EPOLLEXCLUSIVE 选项解决了新建连接的’惊群‘问题

mumumuwudi的博客

01-25

7780

epoll最终和accept一样解决了新建连接的惊群问题 patch地址： https://github.com/torvalds/linux/commit/df0108c5da561c66c333bb46bfe3c1fc65905898 patch比较简单，下面摘录了一部分关键修改~~ 在加入listen socket的sk_sleep队列的唤醒队列里使用了 add_wait

epoll 惊群

spch2008的专栏

01-15

4751

起因：最近，一直在学习nginx。对于事件模块所解决的”惊群“现象完全不明白，遂产生了此文。套接字：可以将服务器端的套接字分为监听套接字与连接套接字。监听套接字负责等待用户连接，而通过accept，获得一个新的套接字，该套接字为连接套接字，通过连接套接字与用户传送数据。何谓惊群： nginx 分为 master 进程与 worker 进程，worke

参与评论您还未登录，请先登录后发表或查看评论

epoll在多线程中的应用-EPOLLEXCLUSIVE和REUSEPORT(一)

dream0130__的博客

01-16

4007

以下均为对epoll在多线程中的使用的一些笔记，如果有不对的地方，烦请指出主要对于我所遇到的问题进行讨论，不会讨论代码如何改写，探讨如何解决这个问题一.引言这些问题均是我在编写我的Web服务器遇到的,我在编写多线程Web服务器的时候,思考如何利用多核的优势来编写Web服务器.在学习了muduo网络库之后，我的先前一个版本的Web服务器采用这种方式,一个master线程+多个工人线程,但是我觉...

深入了解epoll模型（特别详细）

木牛的博客

07-28

532

有的朋友可能对select也不是很了解啊，我这里稍微科普一下：网络连接，服务器也是通过文件描述符来管理这些连接上来的客户端，既然是供连接的服务器，那就免不了要接收来自客户端的消息。那么多台客户端，消息那么的多，要是漏了一条两条重要消息，那也不要用TCP了，那怎么办？前辈们就是有办法，轮询，轮询每个客户端文件描述符，查看他们是否带着消息，如果带着，那就处理一下；如果没带着，那就一边等着去。这就是select，轮询，颇有点领导下基层的那种感觉哈。

linux 多线程或多进程 epoll处理 accept 惊群问题

Linux高级开发的博客

02-21

3177

什么是惊群简单说，惊群是因为多进程（多线程）在同时阻塞等待同一个事件的时候（休眠状态），当时间发生时，就会唤醒所有等待的（休眠的）进程（线程）。但是事件只能被一个进程或线程处理，而其他进程（线程）获取失败，只能重新进入休眠状态，这种现象和性能浪费就叫做惊群。产生惊群的条件多个进程或者多个线程同时等待处理一个事件具体场景复现测试环境 : debian11 内核5.10.0-8 编译器 clang11 多线程和多进程在惊群问题上差不多，为了少些一点，下文中没有特殊说明，多线程也包含

【高级IO】epoll的惊群效应

奇点的博客

10-28

557

epoll惊群效应主要发生在多进程（或多线程）环境中，当多个进程（或线程）同时阻塞等待同一个事件（如客户端连接请求）时，如果事件发生，就会唤醒所有等待的进程（或线程）。然而，由于事件只能被一个进程（或线程）处理，其他进程（或线程）在获取事件失败后会重新进入休眠状态。这种现象不仅浪费了系统资源，还降低了服务器的性能，被称为惊群效应。

accept和epoll惊群问题剖析

你又来看我了，一起学习吧

09-17

1984

文章目录惊群问题1. 不使用epoll/select的情况下多进程是如何共享端口监听的？2. epoll下共享监听端口的行为3. 内核对惊群效应的解决惊群问题 1. 不使用epoll/select的情况下多进程是如何共享端口监听的？不使用多路复用的情况，进程要接收TCP连接必然要调用accept并且被阻塞，直到有一条连接到达。单进程：一次只能处理一个连接，业务处理完毕之后close掉客户端连接，然后再调用accept。多进程一：一个主进程accept连接，来了一个连接再fork一个子进程，把来的连

Linux上的TCP监听fd的accept/select/poll/epoll惊群问题

herongoal的博客

11-20

2289

同一个TCP端口(地址相同)是不能被多次绑定、监听的。因此，多线程程序无法并发地accept连接。而多进程可以并发accept新连接，办法就是先创建、绑定好端口，完成listen调用，然后fork出子进程，子进程继承父进程的文件描述符，然后子进程、父进程都可以accept。很多石器时代的C/C++程序员认为，如果有一个新连接建立完成，此时阻塞在accept系统调用上的进程都会被唤...

epoll惊群效应深度剖析

guanggonglinux的博客

03-19

546

前情提要我们一个基于Nginx+uWSGI+python的服务最近在高峰期经常会遇到负载高导致一些请求报错的情况，在单机qps只有差不多2000-3000左右的时候内核的cpu占用竟然高达超过20%，内核每秒上下文切换超过200w次，分析之后发现是nginx+uwsgi引发了惊群效应，导致性能急剧下降，通过上锁解决惊群问题之后服务恢复。基于这个排查过程，再加上我之前写过的关于epoll的分析最后也把惊群效应一笔带过，当时没有写完整，那咱这次就好好聊聊这个话题，我会先详细分析一下惊群效应产生的原因，然后拿.

epoll惊群效应

qq_41583040的博客

05-19

408

epoll惊群效应

惊群现象

nanjunxiao的专栏

06-20

6850

今天再看nginx架构发现了它也存在惊群现象，之前师兄的socks5代理服务器同样存在着惊群现象。惊群（thundering herd）是指，只有一个子进程能获得连接，但所有N个子进程却都被唤醒了，这种情况将使性能受损。 nginx架构如上图所示，每个worker都是从master fork过来，在master里先建立好需listen的socket之后，然后fork出多个wo

epoll介绍

逆风水手的博客

04-04

338

EPOLL

惊群汇总（含epoll惊群）

编程爱好者的博客

03-14

785

原文查看https://www.cnblogs.com/Anker/p/7071849.html https://blog.youkuaiyun.com/lyztyycode/article/details/78648798 https://blog.youkuaiyun.com/dog250/article/details/80837278 汇总一下他们的博客供自己复习使用，我就不自己写了，他们...

accpet惊群和epoll惊群现象

我是一片云

03-01

918

http://www.citi.umich.edu/projects/linux-scalability/reports/accept.html accpet惊群现象的解决（独占） https://github.com/torvalds/linux/commit/df0108c5da561c66c333bb46bfe3c1fc65905898 epoll惊群现象的解决主要参考上面的两篇文章在做负...

边缘触发的问题：不必要的唤醒以及饥饿

linqi的博客

11-23

1807

1）不必要的唤醒： 1.内核：收到第一个连接请求。线程 A 和线程 B 两个线程都在 epoll_wait() 上等待。由于采用边缘触发模式，所以只有一个线程会收到通知。这里假定线程 A 收到通知 2.线程A：epoll_wait() 返回 3.线程A：调用 accpet() 并且成功 4.内核：此时 accept queue 为空，所以将边缘触发的 socket 的状态从可读置成不可读 5.内核：收到第二个建连请求 6.内核：此时，由于线程 A 还在执行 accept() 处理，只剩..

Linux Epoll 一网打尽

weixin_46837673的博客

04-11

282

1 前言 epoll利用了Linux中的重要数据结构 wait queue, 有了select的基础，其实epoll就没那么复杂了。通过阅读本文，你除了可以了解到epoll的原理外，还可以搞清epoll存不存在惊群问题，LT和 ET模式在实现上有什么区别，epoll和select相比有什么不同， epoll是如何处理多核并发的等等问题。当然内容难免有疏漏之处，请大家多多指证。 2 主要数据...

select、poll、epoll的使用

dengwodaer的博客

01-12

296

select、poll、epoll的使用首先我们从数据结构上的不同来看待linux给我们提供的用于监控fd是否处于读写状态的API之间的差异: 1. select int select(int nfds, fd_set *readfds, fd_set *writefds,fd_set *exceptfds, struct timeval *timeout); select允许程序监控三种类型的fd：可读的fd、可写的fd、异常的fd，nfds=1 +max(*readfds,*writefds,*e

深入了解epoll模型 -- 开卷有益