原生态php curl批量取url multi_curl

最新推荐文章于 2025-07-09 11:57:41 发布
最新推荐文章于 2025-07-09 11:57:41 发布
阅读量2.1k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： php 原生态拓展类 php 文章标签： php curl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhezhebie/article/details/73123844
本文介绍了一种使用PHP的multi_curl并发请求方法，通过批量处理大量URL来提高数据获取效率。文中提供了详细的代码实现及注释说明，有助于理解multi_curl的工作原理及其在实际场景中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

需要批量的从接口取数据,上千个url,一个一个太慢了,因此想着试一下multi_curl方式,记录一下.
<?php

$urls = [
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=1",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=2",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=3",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=4",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=5",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=6",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=7",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=8",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=9",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=10",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=11",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=12",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=13",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=14",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=15",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=16",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=17",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=18",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=19",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=20",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=21",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=22",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=23",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=24",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=25",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=26",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=27",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=28",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=29",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=30",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=31",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=32",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=34",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=35",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=36",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=37",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=38",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=39",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=40",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=41",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=42",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=43",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=44",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=45",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=46",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=47",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=48",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=49",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=50",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=51",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=52",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=53",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=54",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=55",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=56",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=57",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=58",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=59",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=60",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=61",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=62",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=63",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=64",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=65",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=66",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=67",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=68",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=69",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=70",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=71",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=72",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=73",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=74",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=75",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=76",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=77",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=78",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=79",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=80",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=81",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=82",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=83",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=84",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=85",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=86",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=87",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=88",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=89",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=90",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=91",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=92",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=93",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=94",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=95",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=96",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=97",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=98",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=99",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=100",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=101",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=102",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=103",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=104",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=105",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=106",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=107",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=108",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=109",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=110",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=111",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=112",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=113",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=114",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=115",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=116",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=117",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=118",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=119",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=120",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=121",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=122",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=123",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=124",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=125",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=126",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=127",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=128",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=129",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=130",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=131",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=132",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=133",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=134",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=135",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=136",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=137",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=138",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=139",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=140",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=141",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=142",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=143",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=144",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=145",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=146",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=147",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=148",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=149",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=150",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=151",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=152",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=153",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=154",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=155",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=156",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=157",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=158",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=159",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=160",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=161",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=162",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=163",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=164",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=165",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=166",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=167",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=168",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=169",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=170",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=171",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=172",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=173",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=174",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=175",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=176",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=177",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=178",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=179",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=180",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=181",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=182",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=183",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=184",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=185",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=186",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=187",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=188",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=189",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=190",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=191",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=192",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=193",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=194",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=195",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=196",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=197",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=198",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=199",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=200",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=201",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=202",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=203",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=204",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=205",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=206",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=207",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=208",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=209",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=210",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=211",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=212",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=213",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=214",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=215",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=216",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=217",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=218",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33690",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33691",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33692",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33693",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33694",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33695",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33696",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33697",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33698",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33699",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33700",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33701",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=33702",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=37312",
	"http://api.yangshuiping.com/car/type?appkey=xxxx&parent=37313",
];


$start_time = microtime(true);
batchCurl($urls, FCPATH . 'saveCarDetail.json', true)
$end_time = microtime(true);
echo $end_time - $start_time;



	/**
	 * 批量获取url内容
	 * @desc 批量获取url内容，可选择输出或者保存为文件
	 * @param  urls array 需要批量获取的urls
	 * @param  file_name_path 需要存储的文件名
	 * @param  boolean writeToFile   是否写入文件，默认是需要写入文件的
	 * @return string return 返回大json数据或者保存为文件
	 */
	private function batchCurl($urls, $file_name_path = FCPATH . 'saveCarDetail.json', $writeToFile = TRUE) {
		$queue = curl_multi_init(); //允许并行地处理批处理cURL句柄。
		foreach ($urls as $i => $url) {
			$ch[$i] = curl_init();
			curl_setopt($ch[$i], CURLOPT_URL, $url); //这个curl只是说明了它是要干嘛,但是一直到 curl_multi_add_handle 都啥也没有去干,也就是说没有去模拟访问
			curl_setopt($ch[$i], CURLOPT_TIMEOUT, 2500); //超时
			curl_setopt($ch[$i], CURLOPT_RETURNTRANSFER, 1);
			curl_setopt($ch[$i], CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0'); //指明你的浏览器,这是我的
			//curl_setopt($ch[$i], CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陆才能采集的话,需要加上你登陆后得到的cookie文件
			curl_setopt($ch[$i], CURLOPT_HEADER, 0);
			curl_setopt($ch[$i], CURLOPT_NOSIGNAL, TRUE);
			curl_multi_add_handle($queue, $ch[$i]); //向批处理句柄中添加句柄,后面批量的去模拟访问,抓取回资源
		}
		$responses = array(); //事先声名一个数组
		do {
			while (($code = curl_multi_exec($queue, $active)) == CURLM_CALL_MULTI_PERFORM); //返回值如果是0,那就得继续
		} while ($active); //一直到资源里还有0条为止
		//经过了刚才的循环指抓取 此时 $queue 就是一个批量的资源集了 这只是资源集,你需要把它读取出来就好
		foreach ($urls as $i => $url) {
			//要读取资源集的资源条抓取回来的内容,还得用专门的curl_multi_getcontent函数才能完成
			$str[$i] = curl_multi_getcontent($ch[$i]);
			$responses[$i] = json_decode($str[$i], TRUE)['result'];
			curl_close($ch[$i]);
		}
		curl_multi_close($queue); //把总句柄关闭
		if ($writeToFile === TRUE) {
			//如果需要写入文件，那么就要检测目录是否存在，如果不存在，就要先创建目录，并给权限
			$path_dir = pathinfo($file_name_path, PATHINFO_DIRNAME);
			if (!is_dir($path_dir)) {
				// linux下面创建目录必须要带权限
				$dirRes = mkdir($path_dir, 0777, TRUE);
				if (!$dirRes) {
					$this->outPutJson(500, array(), '创建目录，权限不足');
				}
			}
			$res = file_put_contents($file_name_path, json_encode($responses));
			if ($res) {
				$this->outPutJson(200, array(), '写入文件成功！');
			} else {
				$this->outPutJson(3002, array(), '写入文件失败！');
			}
		} else {
			return $responses;
		}
	}

结果如下：

这里写图片描述

批量curl:(get请求)

/**
 * 批量执行curl
 * @Author   yangshuiping
 * @DateTime 2019-08-27T11:33:35+0800
 * @param    [type]                   $urls [批量url,get请求]
 * @return   [type]                         [description]
 */
function multi_curl($urls)
{
    $queue = curl_multi_init(); //允许并行地处理批处理cURL句柄。
    foreach ($urls as $i => $url) {
        $ch[$i] = curl_init();
        curl_setopt($ch[$i], CURLOPT_URL, $url); //这个curl只是说明了它是要干嘛,但是一直到 curl_multi_add_handle 都啥也没有去干,也就是说没有去模拟访问
        curl_setopt($ch[$i], CURLOPT_TIMEOUT, 2500); //超时
        curl_setopt($ch[$i], CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch[$i], CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0'); //指明你的浏览器,这是我的
        curl_setopt($ch[$i], CURLOPT_HEADER, 0);
        curl_setopt($ch[$i], CURLOPT_NOSIGNAL, TRUE);
        curl_multi_add_handle($queue, $ch[$i]); //向批处理句柄中添加句柄,后面批量的去模拟访问,抓取回资源
    }
    $responses = array(); //事先声名一个数组
    do {
        while (curl_multi_exec($queue, $active) == CURLM_CALL_MULTI_PERFORM); //返回值如果是0,那就得继续
    } while ($active); //一直到资源里还有0条为止
    //经过了刚才的循环指抓取 此时 $queue 就是一个批量的资源集了,这只是资源集,你需要把它读取出来就好
    foreach ($urls as $i => $url) {
        //要读取资源集的资源条抓取回来的内容,还得用专门的curl_multi_getcontent函数才能完成
        $str[$i] = curl_multi_getcontent($ch[$i]);
        $responses[$i] = json_decode($str[$i], TRUE)['data'];
        curl_close($ch[$i]);
    }
    curl_multi_close($queue); //把总句柄关闭
    return $responses;
}

相关链接

public function rollCurl($urls, $delay = 5)
{
    $queue = curl_multi_init();
    $map = [];

    foreach ($urls as $url) {
        $ch = curl_init();

        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_TIMEOUT, 1);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_HEADER, 0);
        curl_setopt($ch, CURLOPT_NOSIGNAL, true);

        curl_multi_add_handle($queue, $ch);
        $map[(string) $ch] = $url;
    }

    $responses = [];
    do {
        while (($code = curl_multi_exec($queue, $active)) == CURLM_CALL_MULTI_PERFORM);

        if ($code != CURLM_OK) {break;}
        // a request was just completed -- find out which one
        while ($done = curl_multi_info_read($queue)) {
            // get the info and content returned on the request
            // $info = curl_getinfo($done['handle']);
            $error = curl_error($done['handle']);
            // $results = callback(curl_multi_getcontent($done['handle']), $delay);
            // $responses[$map[(string) $done['handle']]] = compact('info', 'error', 'results');
            if ($error === 0) {
                $responses[] = callback(curl_multi_getcontent($done['handle']), $delay);
            }

            // remove the curl handle that just completed
            curl_multi_remove_handle($queue, $done['handle']);
            curl_close($done['handle']);
        }

        // Block for data in / output; error handling is done by curl_multi_exec
        if ($active > 0) {
            curl_multi_select($queue, 0.5);
        }

    } while ($active);

    curl_multi_close($queue);
    return $responses;
}
云原生领域Service Mesh的版本控制
AI天才研究院
06-25 684
在云原生架构中，微服务化带来的服务拆分导致系统复杂度呈指数级增长，Service Mesh作为服务间通信的基础设施，承担着流量管理、服务发现、故障处理等关键职责。版本控制作为微服务治理的核心环节，直接影响服务升级的可靠性、灰度发布的可控性以及多版本共存的稳定性。Service Mesh如何实现服务版本的标准化定义？不同版本间的流量路由策略如何设计与实施？多版本共存时的兼容性测试与故障恢复机制如何构建？版本控制如何与CI/CD流水线、服务网格生态工具链深度整合？
云原生利器：Tekton 入门到精通实战指南
AI天才研究院
06-20 1076
随着云原生技术的普及，Kubernetes成为容器编排的事实标准，传统CI/CD工具在面对微服务架构、Serverless环境和多集群部署时逐渐显现局限性。Tekton作为CNCF孵化的开源项目，提供了基于Kubernetes的声明式CI/CD解决方案，通过标准化的流水线定义实现跨平台、跨环境的持续交付能力。本文旨在为DevOps工程师和云原生开发者提供从基础概念到实战应用的完整指南，涵盖Tekton核心架构、流水线设计、生态集成及最佳实践。核心概念。
PHP实现的curl批量请求操作示例
12-19
本文实例讲述了PHP实现的curl批量请求操作。分享给大家供大家参考，具体如下： <?php $ch = array(); $res = array(); $conn = array(); $urls = array( 'baidu' => "http://www.baidu.com/", 'cheyun' => "http://auto.jrj.com.cn/", 'w3c' => "http://www.w3cschool.cc/", ); // 创建批处理cURL句柄 $mh = curl_multi_init(); foreach ($urls as $i => $url
php批量请求url_php中请求url的五种方法总结
weixin_36256361的博客
03-08 420
本文主要给大家介绍了关于php中请求url的五种方法，分享出来供大家参考学习，下面话不多说，来一起看看详细的介绍：五种方法：前三种都是php基本的文件操作函数curl()是php扩展需要开启，linux下需要安装exec()执行的是linux命令行下的命令wget下载远程文件其中wget命令在本地虚机测试请求http://www.baidu.com时，没有成功，在远程服务器上却可以，考虑时DNS解...
网页数据批量采集技巧大全！整站采集不用愁！
moshi_6的博客
06-18 945
针对动态布局网页批量采集难题，本文提供四种实用整站采集方案，结合简数采集器使用： 1）利用文章页地址规律直接批量生成采集； 2）通过文章页的 "上/下一条" 链接实现循环采集； 3）利用网站地图索引获取全站文章链接； 4）针对JSON数据结构，简数提供可视化配置模式，支持自动遍历提取每条数据中的指定字段内容，简单便捷！
php curl 批量,PHP利用curl批量发送请求
weixin_32558567的博客
03-10 683
function postMulti($nodes,$timeOut = 5){try{if (false == is_array($nodes)){return array();}$mh = curl_multi_init();$curlArray = array();foreach($nodes as $key => $info){if(false == is_array($info))...
php批量请求url_php请求url的方法小结
weixin_36400512的博客
03-08 384
本文主要给大家介绍关于php中请求url的五种方法，分别是用fopen()函数、file()函数、file_get_contents()函数、curl() 请求远程url数据和exec() 执行命令行命令，下面来一起看看吧，希望能帮助到大家。五种方法：前三种都是php基本的文件操作函数curl()是php扩展需要开启，linux下需要安装exec()执行的是linux命令行下的命令wget下载远程...
HBase与Quarkus：Kubernetes原生Java
AI天才研究院
05-01 718
随着企业数字化转型的深入，实时数据处理和分布式存储需求呈现爆发式增长。Apache HBase作为基于Hadoop的分布式列式存储系统，能够支持海量数据的随机实时读写，但传统Java应用在Kubernetes环境中面临启动慢、资源占用高、响应式编程支持不足等问题。Quarkus框架通过原生编译、反应式模型和Kubernetes优先设计，为解决这些问题提供了全新思路。HBase的核心架构与数据访问模式Quarkus的云原生特性及其对Java应用的优化。
AI原生SaaS应用的容器化部署实践
最新发布
AI天才研究院
07-09 986
使用ConfigMap存储租户配置metadata:data:指标类别具体指标说明预警阈值性能指标推理延迟模型处理请求的时间吞吐量每秒处理请求数< 预期负载的70%批处理效率批处理请求的平均大小< 批大小的50%资源指标GPU利用率GPU计算资源使用率> 90% 或 < 10%内存使用GPU/CPU内存使用量> 85% 内存限制网络I/O容器网络流量异常波动 > 50%业务指标租户请求数每个租户的请求量异常增长 > 100%错误率请求失败比例> 1%
开源运维监控系统-Nightingale（夜莺）应用实践
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
11-27 4342
某业务系统因OS改造，原先的Zabbix监控系统推倒后未重建，本来计划用外部企业内其他监控系统接入，后又通知需要自建才能对接，考虑之前zabbix的一些不便，本次计划采用一个类Prometheus的监控系统，镜调研后发现Nightingale兼容Prometheus，又有一些其他功能增强，又在一些大的企业经过较大规模部署实践，故本次采用Nightingale作为监控系统来进行重建。
简单实用的PHP并发请求url类
05-03
很多时候我们要通过url请求来获得数据，但是往往会因为请求过多而导致超时，这是就需要实用url并发执行啦，这个是我现在用过的最好用，最实在的url并发请求类。
php批量请求url_PHP怎么实现curl批量请求
weixin_31154627的博客
03-08 769
PHP实现curl批量请求的方法：首先创建批处理cURL句柄；然后创建一对cURL资源，并设置URL和相应的选项；接着执行批处理句柄；最后获取当前解析的cURL的相关传输信息即可。PHP怎么实现curl批量请求？PHP实现的curl批量请求操作示例...
php curl 批量,PHP实现的curl批量请求操作
weixin_32862641的博客
03-10 760
这篇文章主要介绍了PHP实现的curl批量请求操作,结合实例形式分析了php使用curl进行批量请求处理的具体批量创建curl句柄、批量执行句柄、防卡死等相关操作技巧,需要的朋友可以参考下本文实例讲述了PHP实现的curl批量请求操作。分享给大家供大家参考，具体如下：$ch = array();$res = array();$conn = array();$urls = array('baidu'...
php curl 批量,关于用php的curl批量抓取内容
weixin_35819860的博客
03-10 238
先上个单个采集的curl访问案例
使用multi curl进行http并发访问
StevenZhai0504的专栏
01-15 969
curl是一款利用URL语法进行文件传输的工具，它支持多种协议，包括FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET等，我们既可以在命令行上使用它，也可以利用 libcurl进行相关编程。相信大部分同学都应该使用过libcurl的easy 接口，easy接口的使用非常的简单，curl_easy_init用来初始化一个easy curl对象，curl_easy_setop
php接口优化 使用curl_multi_init批量请求
heshihu2019的博客
12-31 1840
curl是一个常用的开源网络传输工具，可以通过各种协议（如HTTP、FTP、TELNET）在不同的平台上进行数据传输。PHP中的curl库允许我们利用curl功能在PHP中进行网络通信。它提供了一系列的函数，可以发送HTTP请求并获取响应。PHP的curl库是一个非常强大的工具，可以用来进行网络通信。本文中，我们介绍了如何使用curl库来同时请求多个URL地址。通过创建多个curl句柄，并使用curl_multi_close()方法执行所有请求，我们可以方便地进行并发请求。
php批量请求url_php中请求url的五种方法
weixin_39811036的博客
03-08 175
本篇文章主要介绍php中请求url的五种方法，感兴趣的朋友参考下，希望对大家有所帮助。五种方法：前三种都是php基本的文件操作函数curl()是php扩展需要开启，linux下需要安装exec()执行的是linux命令行下的命令wget下载远程文件其中wget命令在本地虚机测试请求http://www.baidu.com时，没有成功，在远程服务器上却可以，考虑时DNS解析的问题，于是直接请求IP成...
关于用php的curl批量抓取内容
weixin_33824363的博客
04-24 176
先上个单个采集的curl访问案例<?php$curl = curl_init(); curl_setopt($curl, CURLOPT_URL, 'www.baidu.com');curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);cu...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SHUIPING_YANG

你的鼓励是我创作的最大动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值