php curl 代理抓取数据

最新推荐文章于 2021-03-18 01:49:43 发布

design321

最新推荐文章于 2021-03-18 01:49:43 发布

阅读量4.9k

点赞数

分类专栏： php

php 专栏收录该内容

63 篇文章

订阅专栏

本文介绍了一种使用PHP的多线程并发获取多个网页内容的方法，包括设置代理服务器和参数配置，以及如何实现非阻塞式获取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

<?php
define ( 'IS_PROXY', true ); //是否启用代理
function async_get_url($url_array, $wait_usec = 0)
{
    if (!is_array($url_array))
        return false;

    $wait_usec = intval($wait_usec);

    $data    = array();
    $handle  = array();
    $running = 0;

    $mh = curl_multi_init(); // 开启多线程

    $i = 0;
    foreach($url_array as $url) {
        $ch = curl_init();
		if (IS_PROXY) {
		//以下代码设置代理服务器
		//代理服务器地址http://www.cnproxy.com/proxy1.html  !!Hong Kong, China的速度比较好
		curl_setopt ($ch, CURLOPT_PROXY,'110.4.12.170:80' );
		}
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print
        curl_setopt($ch, CURLOPT_TIMEOUT, 30); //设置超时时间
        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
        curl_setopt($ch, CURLOPT_MAXREDIRS, 7); //HTTp定向级别
        curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里
        $handle[$i++] = $ch;
    }

    /* 执行 */
	do {
	
		$mrc = curl_multi_exec($mh, $running);
		if ($wait_usec > 0) /* 每个 connect 要间隔多久 */
            usleep($wait_usec); // 250000 = 0.25 sec
	} while ($mrc == CURLM_CALL_MULTI_PERFORM);

	while ($running && $mrc == CURLM_OK) {
		if (curl_multi_select($mh) != -1) {
			do {
				$mrc = curl_multi_exec($mh, $running);
			} while ($mrc == CURLM_CALL_MULTI_PERFORM);
		}
	}


    /* 读取资料 */
    foreach($handle as $i => $ch) {
        $content  = curl_multi_getcontent($ch);
        $data[$i] = (curl_errno($ch) == 0) ? $content : false;
    }

    /* 移除 handle*/
    foreach($handle as $ch) {
        curl_multi_remove_handle($mh, $ch);
    }
	
    curl_multi_close($mh);

    return $data;
}

$urls = array('http://map.baidu.com');
$re = async_get_url($urls); 
echo $re[0];
?>

转自：http://hi.baidu.com/ylj798/item/322468136b70bc433a176efc

http://www.oschina.net/code/snippet_80475_6689

curl入门：http://www.chinaz.com/program/2010/0119/104346_5.shtml

免费代理服务器：http://www.cnproxy.com/proxy1.html