记录Libevent延迟读回调问题的发现和解决

最新推荐文章于 2024-05-22 23:05:47 发布
最新推荐文章于 2024-05-22 23:05:47 发布
阅读量6k 收藏 12
点赞数 4
CC 4.0 BY-SA版权
分类专栏： linux那些事儿 网络编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangxiaoqin00007/article/details/39027463
在开发一个基于Libevent的及时通讯App时，遇到客户端Request包与Server响应的Response包之间出现30s至2min的延迟问题。通过接入层日志分析和Tcpdump抓包，定位到问题是由于Libevent的延迟读回调导致，进一步发现是包堆积在Epoll的LT模式下未被及时处理。解决方案是修改读回调逻辑，检查outbuffer是否有剩余数据并处理。这次经历加深了对Reactor工作模式的理解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

背景描述：       

       最近做一个Mini项目，实现包括语音的及时通讯App，我负责后台的开发。底层的网络收发框架采用的是Libevent的bufferevent，是一个基于事件驱动的高效异步I/O框架，接口简单易懂，采用linux内核的Epoll实现网络事件触发。经过封装用在项目中，在和终端测试时出现问题：终端发送的Request包，Server回应的Response包居然延迟30s---2min不等。简直不能忍！

问题定位：

       由于服务器架构分为介入层+逻辑层+存储层，每个来自终端的请求包，都要经过接入层的转发，在对应的逻辑层进行处理和响应。延迟的时间是在客户端？接入层？逻辑层？一个请求包从终端发出到接受到对应响应包为整个流程，可分为如下几个时间段：


最低0.47元/天 解锁文章

200万优质内容无限畅学
开源事件通知库libevent及网络连接管理模块bufferevent详解
dvlinker的技术专栏
04-18 1万+
开源事件通知库libevent及网络连接管理模块bufferevent详解
C语言开源事件通知库libevent及网络连接管理模块bufferevent详解
dvlinker的技术专栏
07-26 206
开源事件通知库libevent及网络连接管理模块bufferevent详解
libevent 主动发送数据
qq_32245927的博客
04-25 1861
在其他线程中是无法发送数据的，要打开多线程选项，event_base_new之前调用evthread_use_windows_threads，然后在创建buffevent时加入BEV_OPT_THREADSAFE选项
libevent堵包，大包收取速度慢问题
wang35999的博客
05-02 1150
libevent堵包，大包收取速度慢问题 最近在使用libevent的时候，发现包收取速度慢。单次只能读取到16384个字节。如是在libevent源码里搜索了下16384。发现libevent对单词读取包有限制 可通过下面两个接口修改读写上限 bufferevent_set_max_single_read(conn->bev, 10240000); bufferevent_set_max......
Libevent源码分析-----超时event的处理
luotuo44的专栏
08-17 9862
Libevent允许创建一个超时event，使用evtimer_new宏。
libevent源码分析-修改read回调每次最大只能获取到4096字节的限制
shuiyanmei的博客
02-09 4181
背景  有次在处理一个客户需求时，需要我这里开一个tcp的服务端，然后对方将图片进行base64编码后发送过来，由于图片比较大，再加上base64编码，结果导致整个报文长度达到1500KB，然后我用libevent进行接收的时候，我原以为进入回调后可以直接从evbuffer中将这1500KB的报文一次性获取出来，但事实不是这样的，进入回调后只能获取到2920字节的报文，然后我判断长度不对，直接...
libevent的简单收发demo超时时间为10秒
weixin_42204566的博客
01-29 377
libevent的简单收发demo超时时间为10秒 #include <iostream> #include <event2/event.h> #ifndef _WIN32 #include <signal.h> #else #endif #include <thread> #include <errno.h> #include &lt...
libevent源码学习（16）：通知唤醒主线程、条件变量的等待与唤醒
HerofH_的博客
07-31 1352
目录 唤醒事件机制 唤醒机制相关结构体 创建唤醒event 次线程唤醒主线程 条件变量等待与唤醒 以下源码均基于libevent-2.0.21-stable。 在前面的文章中，把Libevent对三种不同类型event的创建、添加、激活到处理过程基本上就讲的差不多了，接下来就讲一下其它的问题。目前版本Libevent是支持多线程的，既然是多线程，就会出现一系列与线程安全...
关于静态数据库（.lib）的一些个人见解
yyssas的博客
04-27 298
静态库的一些说明
利用libevent实现高性能的日志记录和处理
# 1. 引言 ## 1.1 问题的提出 在软件开发过程中，日志记录和处理是一个重要的环节。通过日志记录，开发人员可以了解系统的运行情况、故障...首先会分析日志记录和处理的需求，然后详细介绍libevent的框架和工作原理
libevent源码分析之Reactor模式
游戏猫的博客
01-23 562
一、概述 libevent使用了Reactor模式，实现了高效的事件驱动机制。 二、Reactor定义 1、Reactor是一种事件驱动机制。应用程序不是主动的调用某个系统API完成处理，Reactor逆置了事件处理流程，应用程序注册回调函数到Reactor上，如果相应的事件（比如读、写、错误）发生，Reactor将回调应用程序注册的接口。 2、Reactor结构五个关键的参与者: 描述符（handle）：由操作系统提供，用来识别每一个事件，如socket描述符、文件描述符等。 同步事件分离器（demul
libevent/libev实战那些坑
qjh_serena的博客
05-22 2112
libevent是一个事件通知库，我们通常需要将它编译成.so动态库或者编译成.a静态库的形式将它引入到我们的项目中来。
Libevent应用 (三) 数据缓冲
qq769651718的专栏
03-03 2306
3 数据缓冲​ ​ 很多时候，除了响应事件之外，应用还希望做一定的数据缓冲。比如说，写入数据的时候，通常的运行模式是：​ （1）决定要向连接写入一些数据，把数据放入到缓冲区中​ （2）等待连接可以写入​ （3）写入尽量多的数据​ （4）记住写入了多少数据，如果还有更多数据要写入，等待连接再次可以写入​ ​ 这种缓冲IO模式很通用，libevent为此提供了一种通用机制，即bufferevent。...
libevent库介绍--事件和数据缓冲
diaoguan4535的博客
11-13 237
首先在学习libevent库的使用前，我们还要从基本的了解开始，已经熟悉了epoll以及reactor，然后从event_base学习，依次学习事件event、数据缓冲Bufferevent和数据封装evBuffer等，再结合具体的几个实例来了解libevent库的一些基本使用，有助于我们理解它的一些内部实现（由于之前我已经写过一篇epoll反应堆模型的，所以这里就不再介绍，直接从eve...
libevent源码分析-read限制
高人是高人的博客
08-26 920
（转）libevent源码分析-修改read回调每次最大只能获取到4096字节的限制背景现在有两个问题：梳理的过程如下：那么如何修改libevent源码呢？根据上面的代码分析得出的结论是：查看代码发现，只需要修改readmax的值就行了，看到这里，max_single_read， 转发自 https://blog.youkuaiyun.com… 背景 有次在处理一个客户需求时，需要我这里开一个tcp的服务端，然后对方将图片进行base64编码后发送过来，由于图片比较大，再加上base64编码，结果导致整个报文长度达到1
Libevent源码分析-----信号event的处理
luotuo44的专栏
08-13 9098
前面讲解了Libevent怎么对一个IO事件进行监听，现在来讲一下Libevent怎么监听信号。Libevent对于信号的处理是采用统一事件源的方式。简单地说，就是把信号也转换成IO事件，集成到Libevent中。
libevent （三）libevent 事件处理
红叶谷 wsp_1138886114的博客
10-22 374
文章目录事件处理逻辑流程图测试了libevent 事件处理(linux，Ctrl+C与kill) 事件处理逻辑流程图 测试了libevent 事件处理(linux，Ctrl+C与kill) #include <iostream> #include <event2/event.h> #ifndef _WIN32 #include <signal.h> #endif // !_ using namespace std; //sock文件描述符， which事件类型，
libevent 初使用遇到的问题
quqi3183的博客
06-15 466
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
linux libevent-多线程使用bufferevent，解决多线程调用bufferevent_write方法后消息发送不出去的问题
shang3583091的博客
10-13 2202
最近在使用libevent的时候发现多线程调用bufferevent_write的时，在一段时间后经常会发送不出数据。后来在研究发现是默认情况下bufferevent是在主线程中使用的，多线程调用时线程不安全。 解决问题如下： （1）直接添加“BEV_OPT_THREADSAFE”后创建bufferevent不成功问题 （2）添加evthread_use_pthreads()方法后编译时提示：“evthread_use_pthreads 未定义的引用”的问题 （3）多线程调用发送消息后经常出...
libevent怎么监听回调函数
最新发布
10-12
libevent是一个轻量级的事件驱动网络库，它提供了一种高效的方式来处理各种类型的事件，包括网络连接、定时器等。在libevent中，你可以创建一个事件结构体（如ev_io或ev_timer），然后将你的回调函数注册到这个结构体上。 以下是一个简单的步骤说明： 1. **初始化**：首先需要包含`<event2/event.h>`头文件，并调用`event_base_new()`创建一个事件基础基（Event Base）。 ```c struct event_base *base = event_base_new(); ``` 2. **创建事件句柄**：根据你需要监听的事件类型（例如读事件、写事件或定时器），使用相应的构造函数创建事件，如`ev_io_new()`。 ```c struct ev_io *watcher = ev_io_new(base, sockfd, EV_READ | EV_PERSIST); // sockfd是套接字描述符 ``` 3. **设置回调函数**：通过`ev_set()`函数，将你的回调函数关联到事件句柄上，通常这个函数会在事件发生时被执行。回调函数一般接收一个指向事件的指针作为参数。 ```c void my_callback(struct ev_loop *loop, struct ev_io *w, int revents) { // 这里是你处理事件的代码 } event_set(watcher, -1, EV_WRITE | EV_READ, my_callback, watcher); ``` 4. **添加事件到循环**：将事件加入到事件循环中，通常是在一个事件循环开始前调用`event_add()`。 ```c event_add(watcher, NULL); ``` 5. **启动事件循环**：最后，使用`event_run()`开始事件循环，直到有事件触发回调或手动退出。 ```c if (event_base_dispatch(base) == -1) { perror("Error running event loop"); } ```
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值