应对恶劣网络环境,为php-curl设置超时限制,防止服务器卡死

windows nginx使用file_get_contents、fopen、curl访问php文件造成阻塞的解决办法 windows nginx造成的file_get_contents、fopen、curl在访问本地php文件造成阻塞的问题相信很多人都遇到过,关于这个问题涉及到了php的运行等问题,有兴趣的可以先去看我上一篇博客对php运行的讲解php的运行原理、cgi对比fastcgi以及php-cgi和php-fpm之间的联系区别。这个问题有许多博客都讲解过,不过在我解决问题的过程中我发现许多博客写的要么不够 阅读详情

挖洋货这项目,因为没有公司的名头,也就无法备案,所以前端机放在阿里云香港ECS,另配一台阿里云杭州ECS来跑crontab——执行爬虫、保存图片到阿里云OSS等。最近觉得杭州ECS有点多余了(原本还有个杭州RDS的,统一搬到香港RDS了),打算撤掉,就把杭州ECS上的crontab全部搬回香港ECS来跑,这下就引发不少问题了。
引发什么问题了呢?最核心的问题是香港ECS处在国际网络环境,访问大陆服务器时经常会出现网络抖动的现象,非常无解。具体一点来说,比如香港ECS向阿里云杭州open search(open search没有香港节点呀亲 ╥﹏╥…)查询的时候,经常报错;又比如香港ECS抓到图片后上传杭州OSS(OSS是有香港节点,问题是没有图片处理的服务啊,你们说这不是坑死人吗),慢是其次,经常卡住一段时间后才报错,这使得上传的效率极其低下(我会告诉你就因为这个原因,积压了好几千爬回来的商品等着上传图片才能上架吗)。

open search的问题还是很好解决的,SDK有提供超时的配置,我把超时限制设大了一点(5秒),基本上就不会报错了。
而OSS的SDK根本没有提供这方面的配置,为了解决这个问题,我决定深入到这SDK来修改源码。
OSS的SDK是通过php-curl来请求api的,经调查后,我发现此SDK有个名为requestcore.class.php的文件中定义了一个RequestCore类,很明显,这个类就是负责发送请求的。其中,prep_request()负责配置curl,send_request($parse = false)则负责执行curl(即真正发送请求)。
首先来看看prep_request(),其中包含两个php-curl的两个超时配置:CURLOPT_TIMEOUT以及CURLOPT_CONNECTTIMEOUT

curl_setopt( curlhandle,CURLOPTTIMEOUT,5184000);curlsetopt( curl_handle, CURLOPT_CONNECTTIMEOUT, 120);

CURLOPT_TIMEOUT好理解,就是整个curl请求过程(http request & response)的超时限制,以秒为单位,设置为0则无限制。
CURLOPT_CONNECTTIMEOUT比较难理解,目前确认的是,这是curl请求过程中的一小部分,因此必须要设得比CURLOPT_TIMEOUT小,不然CURLOPT_TIMEOUT无意义。网上的资料是这么说的:

CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间,如果设置为0,则无限等待。

这个发起连接前等待的时间比较模糊,我倾向于这指的是完成TCP三次握手过程前所耗费的时间,或者换句话说,TCP三次握手的整个过程必须要在CURLOPT_CONNECTTIMEOUT内完成,否则就超时。TCP三次握手无法在指定时间内完成表示服务器正处在繁忙/奔溃的状态或网络异常,这正符合本文所提到的场景。
基于这一猜想下,我把CURLOPT_CONNECTTIMEOUT设成3秒:

curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 3);

如此,就不需要在网络抖动的时候等待2分钟(SDK设定的CURLOPT_CONNECTTIMEOUT是120秒)才报错了。

PS:如果想要设置超时时间少于1秒,需要用到CURLOPT_TIMEOUT_MS,但此配置据鸟哥说有bug,未测试,留个心眼:《Curl的毫秒超时的一个”Bug”》

海思Hi3519AV100 sensor移植实战:IMX586驱动调试与硬件验证全流程 本文详细解析了在海思Hi3519AV100平台上移植索尼IMX586传感器的全流程实战。内容涵盖从硬件I2C通信验证、驱动代码移植与修改,到内核配置、时钟设定,以及使用示波器进行硬件信号深度验证和ISP图像调优等关键步骤,为开发者提供了一套清晰、可复现的sensor移植与调试方法。 阅读详情

相关推荐

Unity3D实战:5分钟搞定RTSP监控视频播放(附完整代码)

本文提供了一套在Unity3D中快速集成RTSP监控视频播放的实战方案。通过采用LibVLCSharp for Unity这一成熟稳定的跨平台中间件,开发者可以轻松实现RTSP流的解码与渲染,并附有完整的C#代码示例,帮助用户在5分钟内完成集成,适用于智慧园区、安防监控等3D可视化场景。

weixin_29001655的博客 192

Linux之curl命令使用详解—网络故障定位(五)

前言 该命令设计用于在没有用户交互的情况下工作。 curl 是一个工具,用于传输来自服务器或者到服务器的数据。「向服务器传输数据或者获取来自服务器的数据」 可支持的协议有(DICT、FILE、FTP、FTPS、GOPHER、HTTP、HTTPS、IMAP、IMAPS、LDAP、LDAPS、POP3、POP3S、RTMP、RTSP、SCP、SFTP、SMTP、SMTPS、TELNET和TFTP)。 curl提供了大量有用的技巧,比如代理支持、用户身份验证、FTP上传、HTTP post、SSL连接、c

专注自动化、性能测试、测试架构学习交流 2963

IAR链接器配置文件(.icf)实战指南:从内存映射到代码布局

本文深入解析了IAR链接器配置文件(.icf)的核心作用与实战配置方法。作为嵌入式开发的“内存地图”,.icf文件精确控制代码与数据在Flash和RAM中的布局。文章从定义存储空间、划分区域、预留栈堆,到精确放置中断向量表、代码段及初始化控制,提供了完整的配置指南与避坑技巧,帮助开发者优化内存使用,解决链接错误,是掌握嵌入式系统底层内存管理的关键。

fun88的博客 918

php服务器响应超时,【Web服务器超时处理】

[ Apache]一般在性能很高的情况下,缺省所有超时配置都是30秒,但是在上传文件,或者网络速度很慢的情况下,那么可能触发超时操作。目前apachefastcgiphp-fpm模式下有三个超时设置:fastcgi超时设置:修改httpd.conf的fastcgi连接配置,类似如下:FastCgiExternalServer/home/forum/apache/apache_ph...

weixin_42197129的博客 806

HWSD中国土壤数据库

T_PH_H2O: Real (酸碱度) T_CEC_CLAY: Real (粘性层土壤的阳离子交换能力);T_CEC_SOIL: Real (土壤的阳离子交换能力) T_BS: Real (基本饱和度);T_CACO3: Real (碳酸盐或石灰含量) T_CASO4: Real (硫酸盐含量);ADD_PROP: Real (土壤单元中与农业用途有关的特定土壤类型);T_USDA_TEX: Real (USDA土壤质地分类);T_REF_BULK: Real (土壤容重);

地球资源数据云的官方博客 4656

BRep实战指南:从理论到文件格式的全面解析

本文全面解析BRep(边界表示法)从基础概念到文件格式的实战应用。详细介绍了BRep的数学定义、工业应用场景,以及STEP、IGES等主流文件格式的对比与使用技巧,帮助读者掌握三维建模核心技术并优化性能。

weixin_29235923的博客 411

curl 并发 阻塞 php,PHP 巧用curl 并发减少后端访问时间

首先,先了解下 PHP中的curl多线程函数:curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄curl_multi_close — 关闭一组cURL句柄curl_multi_exec — 运行当前 cURL 句柄的子连接curl_multi_getcontent — 如果设置了CURLOPT_RETURNTRANSFER,则返回获取的输出的文本流curl...

weixin_32239819的博客 1159

振动信号相位测量的关键技术解析

本文深入解析了振动信号相位测量的关键技术,强调相位是振动信号的“身份证”,对于动平衡和故障诊断至关重要。文章详细阐述了键相传感器与振动传感器的选型、安装要点,以及时域和频域(FFT)核心算法,并针对现场噪声、转速波动等挑战提供了实战解决方案,帮助工程师实现精准、稳定的相位测量。

vv45678的博客 839

php curl 堵塞,PHP的-curl_multi_select总是阻塞超时值

在Windows XP PHP 5.3.5上运行Example #1 from PHP时,curl_multi_select()行将始终在指定的超时时间内阻塞(如果为空白,它将阻塞1秒钟,如果我指定5秒钟,它将阻塞5秒钟),无论获取内容所需的时间.我怀疑与this bug有关.问题是:最好的解决方法是什么?我能想到的最好的方法是摆脱curl_multi_select()和usleep(x)作为节省...

weixin_30882521的博客 623

ACS驱动器直线电机回零程序与误差补偿Buffer实战解析

本文深入解析了ACS驱动器控制直线电机时,实现高精度回零与误差补偿的完整实战流程。核心在于利用驱动器的D-Buffer功能,将激光干涉仪测量的误差数据导入补偿数组,通过ERRORMAP1D指令进行映射,从而实时修正定位误差,显著提升设备重复定位精度。文章详细拆解了回零程序逻辑、补偿参数设置及关键调试避坑指南。

651

【系统架构设计师】论文模板样例:论软件系统架构风格

本人于年月参与项目,该系统为*,在该项目组中我担任系统架构师岗位,主要负责系统整体架构设计。本文以该车联网项目为例,主要讨论了软件架构风格在该项目中的具体应用。底层架构风格我们采用了虚拟机风格中的解释器,因该公交共有几十种不同的数据协议,使用解释器风格可以满足整车数据协议兼容性需求;中间层关于应用层的数据流转采用了独立构件风格中的隐式调用,以减低系统间耦合度、简化软件架构,提高可修改性方面的架构属性;应用系统层采用了B/S的架构风格,统一解决公交行业性难题“实施推广难、维护难”问题。

数据知道的博客 9931

php大量的curl 会堵塞顺序执行吗_四种PHP异步执行的常用方式

php中文网最新课程每日17点准时技术干货分享客户端与服务器端是通过HTTP协议进行连接通讯,客户端发起请求,服务器端接收到请求后执行处理,并返回处理结果。有时服务器需要执行很耗时的操作,这个操作的结果并不需要返回给客户端。但因为php是同步执行的,所以客户端需要等待服务处理完才可以进行下一步。因此对于耗时的操作适合异步执行,服务器接收到请求后,处理完客户端需要的数据就返回,再异步在服务...

weixin_33362939的博客 857

一篇文章带你认识 SpringBoot

文章目录一、原有 Spring 优缺点分析二、SpringBoot 的概述 一、原有 Spring 优缺点分析 (1)Spring 的优点分析 Spring是Java企业版(Java Enterprise Edition,JEE,也称J2EE)的轻量级代替品。无需开发重量级的Enterprise JavaBean(EJB),Spring为企业级Java开发提供了一种相对简单的方法,通过依赖注入和面向切面编程,用简单的 Java 对象(Plain Old Java Object,POJO)实现了EJB的功能。

南淮北安的博客 767

php curl 堵塞,php curl阻塞

示例代码:/*@purpose: 使用curl并行处理url@return: array 每个url获取的数据@param: $urls array url列表@param: $callback string 需要进行内容处理的回调函数。示例:func(array)*/function curl($urls = array(), $callback = ''){$response = array(...

weixin_42206399的博客 792

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

使用multi curl进行http并发访问

curl是一款利用URL语法进行文件传输的工具,它支持多种协议,包括FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET等,我们既可以在命令行上使用它,也可以利用 libcurl进行相关编程。相信大部分同学都应该使用过libcurl的easy 接口,easy接口的使用非常的简单,curl_easy_init用来初始化一个easy curl对象,curl_easy_setop

StevenZhai0504的专栏 1063

php curl exec 卡住,curl连续请求页面卡死解决办法

curl连续请求页面卡死解决办法2018-11-23420今天项目中遇到一个问题就是在后台用curl请求数据,连续请求url链接后页面会卡死502错误,最后解决办法是在 curl请求方法中加了CURLOPT_TIMEOUT就可以了,这样如果超出设置时间不影响页面其他的请求,到了设置时间请求也会停止curl方法如下:functionget_request($url){//初始化$ch=curl...

weixin_39637921的博客 1488

php 处理阻塞,常见PHP堵塞案例

前言众所周知,PHP是单线程同步堵塞模型,基于堵塞的模型,常常我们在开发中一个不小心就会把服务器搞崩,下面将跟大家一起分享常见的堵塞案例。(下图为一个标准的同步堵塞IO)几个常见的场景:1.为什么一段非常简单的代码却把服务器搞崩溃了?2.为什么一个正常的不能再正常的Insert SQL却把MYSQL给卡死了?3.为什么我一个页面卡死了,其它新页面也无法打开?4.为什么消费者非常空闲,却无法消费?常...

weixin_39728213的博客 849

php在同一浏览器下面同时发起多个curl请求会被阻塞的原因

第一:如果开启了SESSION,并且SESSION使用了文件保存,在上一个脚本处理完之前,SESSION文件被锁住了,导致下一个脚本在获得锁之前处于等待的状态。 第二:如果使用同一个浏览器的多个标签页同时访问同一个URL,那么浏览器认为这些不同的请求是同一个人,会对你的每个请求进行排队,不做并发处理。不管Nginx还是Apache,都是在并发处理,只不过你的浏览器自作主张,把你的请求阻塞了,

feimo 3790

libcurl 中使用curl_multi_perform()函数执行订阅类型url的问题

前提概要 当需要同时处理多个url时,可采用curl_multi_perform方式执行,如下代码1: 1 //初始化一个multi curl 对象 2 CURLM * curl_m = curl_multi_init(); 3 CURL * my_curl[CURL_NUM]; 4 char rcvbuf[CURL_NUM][MA...

weixin_30546189的博客 849

curl_multi_select解决curl_multi网页假死问题

curl_multi可以批处理事务,给网页编程带来很大的方便。不过在使用curl_multi的过程中,我们会遇到一个比较头疼的问题,那就是当并发处理的事务数量过多的时候,就会出现CPU过高,网页假死的现象,这是不可以忽视的。 今天,通过查询相关资料和测试,终于找到了一个解决问题的方法。 正常情况下,我们是这样使用curl_multi的。 实例代码: $connomains = array(...

weixin_33859844的博客 206

libcurl使用easy模式阻塞卡死等问题的完美解决

引言:     由于要在android手机测进行DM开发, 其中最重要的就是FUMO和SCOMO下载, 下载使用的是linux开源库libcurl. 于是就把libcurl的使用研究了一遍, 有些心得, 并解决了一些网友的阻塞卡死问题, 于是jwisp将经验和方案分享给大家.   一共四篇: 使用libcurl进行文件下载类项目开发(一) libcurl简单使用介绍 (二)使用libcu...

weixin_34128501的博客 963

curl_multi

一般来说,想到要用curl_multi_init()时,目的是要同时请求多个url,而不是一个一个依次请求,否则就要curl_init()了。不过,在使用curl_multi的时候,你可能遇到cpu消耗过高、网页假死等现象,可以看看如何解决curl_multi导致网页假死的问题使用curl_multi的步骤总结如下:第一步:调用curl_multi_init 第二步:循环调用curl_multi_a

小小的天,有大大的梦想的博客 1343

curl使用curl_easy_perform导致线程或者进程卡死解决办法

描述:curl提供的curl_easy_perform调用方式是阻塞的,如果没有收到回复,则会导致线程或者进程一直阻塞,除非外界干预。 解决办法:curl提供了CURLOPT_LOW_SPEED_LIMIT  CURLOPT_LOW_SPEED_TIME  option,主要思想为:如果在指定时间传输速率超过设置的最低值,则会自动断开该链接。 举例:                   cu...

扎实基础方能走远 1万+

[C/C++]解决curl断开网线不会返回错误的问题

问题:拔掉网线之后,执行curl_easy_perform()还不会返回结果 原因:如下, https://curl.haxx.se/docs/faq.html#Why_doesn_t_curl_return_an_error 简而言之,就是TCP/IP的容错性导致的。 解决办法: curl_easy_setopt( curl, CURLOPT_LOW_SPEED_LIMIT, 30 )...

H_O_W_E的专栏 2443
上一篇: 利用DataURL技术在网页上显示图片
下一篇: html5系列:form 2.0 新结构
array_huang
博客等级 码龄11年 15粉丝 32原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值