curl

最新推荐文章于 2024-10-31 08:00:00 发布

原创最新推荐文章于 2024-10-31 08:00:00 发布 · 712 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#header #encoding #fp #url #function #server

本文介绍了一种使用PHP和cURL进行网页内容抓取的方法。通过设置cURL选项如编码方式、返回类型及超时时间等，可以高效地获取远程网页的内容。此方法适用于网页数据抓取和简单的网络爬虫开发。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

function down_url($url)

{

	$ch = curl_init ($url);

//	$fp = fopen ($saveFile, "w");

//	curl_setopt ($ch, CURLOPT_FILE, $fp);

	curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate');
//	curl_setopt($ch, CURLOPT_REFERER, 'http://xiaonei.com');

	curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //设定是否显示头信息 

	curl_setopt($ch, CURLOPT_USERAGENT,  
___FCKpd___0

SERVER['HTTP_USER_AGENT']); // curl_setopt ($ch, CURLOPT_HEADER, true); //设定是否输出页面内容 curl_setopt ($ch, CURLOPT_HEADER, false); //设定是否输出页面内容 curl_setopt($ch, CURLOPT_TIMEOUT, 5); $html = curl_exec($ch); // execute the curl command curl_close ($ch); return $html; // fclose ($fp); }