libcurl使用过程中卡顿问题

最新推荐文章于 2024-07-11 13:41:59 发布
原创 最新推荐文章于 2024-07-11 13:41:59 发布 · 681 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种在使用libcurl进行大量数据请求时遇到的性能问题。作者发现在连续请求十几条数据后，程序会出现5到10秒的卡顿。通过调整代码结构，将curl_easy_init()初始化操作移到构造函数中仅执行一次，成功解决了这一问题。

写一个从服务器请求经纬度的程序时，用到libcurl

测试大量数据时，发现取十几条数据之后，就卡顿5秒钟或10秒钟。

通过查资料设置参数之类的都没有用，后来看了官网上https://curl.haxx.se/libcurl/c/curl_easy_perform.html 这句话：

我的代码里面，是调用一次post或get，就调用一次curl_easy_init()，

后来我改成把这个curl_easy_init()放在构造函数里面，只执行一次，问题瞬间解决了！

HTTP Digest Auth 及HTTP长连接 Libcurl c++实现
勤又氪猿的博客
02-24 1658
HTTP Digest Auth 及HTTP长连接 Libcurl c++实现
libcurl长连接高并发高性能封装测试分析源代码
09-19
项目中需要用到Curl频繁调用的情况，发现curl接口调用速度缓慢。为了实现curl高性能，高并发，需要研究如何实现高性能高并发。研究方向有三个。 （1） 长连接。考虑采用长连接的方式去开发。首先研究下长连接和短连接的性能区别。curl内部是通过socket去连接通讯。socket每次连接最为耗时，如果能够复用连接，长时间连接，减少每次socket连接的时间，则可以大大减少时间，提高效率。 （2） 多线程。单个线程下载速度毕竟有限，使用多线程去调用接口。实现高并发高性能，需要考虑资源分配和冲突的问题。 （3） 异步调用。和socket异步调用的原理类似。同步调用会阻塞等待，造成CPU占用率高。
libcurl使用easy模式阻塞卡死等问题的完美解决
06-10
libcurl实现和网络文件系统进行通信时，当用easy模式时是阻塞的， 所以需要设置一个超时参数
libcurl使用easy模式阻塞卡死等问题的完美解决---超时设置
weixin_34355881的博客
11-01 1233
libcurl使用时疑难问题： 在使用libcurl时, jwisp发现, curl_easy_perform是阻塞的方式进行下载的, curl_easy_perform执行后,程序会在这里阻塞等待下载结束(成功结束或者失败结束).此时若正常下载一段时间后,进行网络中断, curl_easy_perform并不会返回失败,而是阻塞整个程序卡在这里,此时即使网络连接重新恢复, curl_easy_p...
使用libcurl作http请求线程卡在curl_multi_perform的问题
一亩三分地
11-23 6485
线上挂死时，gstack pid 获取的堆栈信息 Thread 1 (Thread 0x7f766d1de7c0 (LWP 2899)):#0 0x0000003ca820e9c3 in recvfrom () from /lib64/libpthread.so.0#1 0x0000003ab920c133 in __libc_res_nsend () from /lib64/lib
libcurl openssl卡死问题
最新发布
shadexin的博客
07-11 372
参考文章方案./Configure中增加一个：--with-rand-seed=devrandom重新编译openssl，再次测试后问题不再出现。在公司的嵌入式设备上使用libcurl进行鉴权流程时偶尔会出现卡死的问题，增加打印后定位卡死在Curl_ssl_random函数中。据文章中说是在kernel的add_interrupt_randomness中卡住，可修改内核或修改openssl。
libcurl post 发送 超过1M 数据量时会卡顿（延时）
no_abomb的专栏
06-18 1066
原因：libcurl post 发送超过1024字节数据后，会多出一个步骤，即询问是否能发送超过1024数据的包。但postman没有这个询问步骤。 如果想忽略此步骤，可以
libcurl 发送请求慢
u013183495的专栏
09-06 482
headers = curl_slist_append(headers, "Accept: application/json"); headers = curl_slist_append(headers, "Expect:"); headers = curl_slist_append(headers, "Content-Type:application/json;charset=UTF-8"); 添加红色部分
libcurl在ipv6被禁止的情况下的性能下降
马云雷的专栏
08-12 2291
最近我们的集群业务量增加了上百T。然后发现集群的cpu使用率和load上升的非常高，load最高达到了60。团队分析了性能原因，发现发送结果数据到另一个集群的逻辑消耗了大部分的cpu，于是对这部分发送逻辑进行了优化。在优化发送逻辑后，cpu下降了一半，load也下降了。但是效果并不明显。有一个机器，load仍然很高。持续的调查发现，在load较高的机器上出现间隔出现多个modprob -q — n...
Libcurl发送POST大包数据低效率问题的解决方案（curl_easy_perform耗时较久）
浮生若梦
09-12 4776
遇到一个Libcurl发送时间较长问题，查阅了很多资料，有说是Libcurl机制导致，有说是使用Share模式可以提高性能，验证多个，无法解决问题。 还是抓包工具比较好用。大包数据如图所示： 多了一个Expect的Header字段，但是程序中没有进行设置，怀疑是Libcurl添加上的。 查阅资料，关于Expect的解释如下： 在libcurl的Header设置中将Expect设置为...
C/C++ libcurl CURLOPT_NOSIGNAL选项
01-20
多线程 此接口并没有使用到SSL/TLS，但会不会是用到了signals导致的crash呢？官方建议在多线程场景下应该设置CURLOPT_NOSIGNAL选项，因为在解析DNS出现超时的时候将会发生“糟糕”的情况。官方也给出了解决方法，可以使用c-ares[2]的libcurl版本实现异步域名解析来预防这种“糟糕”的情况，但是最后一句还是告诫我们：在多线程场景下，若不设置CURLOPT_NOSIGNAL选项，可能会有“意外”的情况发生。通过官方这段描述，可以大致猜测到是没有设置这个选项造成的crash。 curl毫秒超时使用 升级后的libcurl已经支持了毫米级别的超时。但是使用的时候还有一
FTP读取文件列表卡死问题分析
学无止境，点滴积累
08-07 3090
问题： 项目开发中使用FTP将FTP中的文件上传到AWS，在处理获取文件列表时，发现执行到File[] files = file.listFiles();这段代码时，程序出现卡死阻塞状态。 解决方案： File[] files = file.listFiles();在这段代码之前加上ftpClient.enterLocalPassiveMode();这段代码就解决了当时的问题...
使用libcurl的坑
码农囚徒
07-20 676
libcurl应该是一个基础的不能再基础的库，最近在开发一个Android下的SDK，需要用到http请求，所以自然而然使用了libcurl。也就是这个libcurl真的把人坑坏了。 因为需要给android使用，所以先用ndk编译成so，再通过jni调用。 起初一切都没问题，但是在测试阶段发现当请求超时时，会导致android的app崩溃。查看日志，发现封装的jni接口已经返回到jav...
一次php curl卡住的bug分析
weixin_33778544的博客
04-04 1962
php 7.1.18 libcurl 导致curl_multi_select() 返回值永远为-1进程卡住,升级到php 7.1.24就OK了 bug原由 用curl_multi_init加快多次请求的速度，然后再docker容器中测试发现，会卡住，cpu占用率也非常高 附上代码 foreach ($tmp_openids as $v_openids) { $mult...
最近使用 libcurl 遇到的坑
木风feng的博客
01-11 3667
学艺不精，有待深入学习 Orz 1 curl 请求时间超过1s    最近使用 libcurl 调用内网另一台服务器的一个服务，结果过了 1s 才收到返回包，一开始以为是对方服务出问题，结果对方反馈他们压测的结果是 2~3ms 就能返回结果。排查到最后才发现是 libcurl 的坑，差点因为这个将开发方案驳回。   我是使用post请求发送批量数据到对方的服务，而 libcurl 会默认添加一个...
使用libcurl 建立长连接
weixin_35755640的博客
01-03 1819
libcurl 是一个用于网络传输的开源库，它支持多种协议，包括 HTTP。 要使用 libcurl 建立长连接，需要设置 CURLOPT_CONNECT_ONLY 选项。这将告诉 libcurl 只建立连接，而不执行实际的传输。 例如： CURL *curl = curl_easy_init(); if (curl) { curl_easy_setopt(curl, CURLOPT_CONN...
libcurl长连接高并发高性能
markqian86的专栏
01-05 3034
libcurl长连接高并发高性能 自己开发了一个股票智能分析软件，功能很强大，需要的点击下面的链接获取： https://www.cnblogs.com/bclshuai/p/11380657.html 目录 1 背景介绍 2 长短连接实测分析 2.1 长连接参数设置说明 2.2 长短连接区别 2.2.1 短连接 2.2.2 长连接 2.3 长短连接测试分析 2.3.1 短连接调用url1 2.3.2 长连接调用url1 2.3.3 长连接调用url2 2.3.4 长连接调用两次
libcurl之curl_easy_getinfo的使用教程
热门推荐
曾是土木人
12-06 3万+
Code： // getinfo.cpp : 定义控制台应用程序的入口点。 // #include "stdafx.h" #include using namespace std; #include "curl/curl.h" #pragma comment(lib, "curllib.lib") //回调函数 size_t process_data(void *buffer, size_
libcurl多线程使用及高并发性能测试
kelan11的博客
06-14 7600
libcurl是一个不错的socket库，而且又是开源的。如果仅仅是简单的HTTP请求，那么只需要几行代码就能轻松实现。不过要用libcurl实现高效、高频率的HTTP请求就需要对libcurl有深入的了解才行。如果阅读英文无障碍的话，那么libcurl自带的示例程序和帮助文档就是最好的老师。一、多线程HTTP请求libcurl提供多线程和异步请求来实现大批量HTTP请求，可参见multithread.c和multi-app.c两个示例程序。这两种批量HTTP请求的方式在测试环境下都能正常运行，但使用异步请
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值