几种常用的用php抓取网页中的内容的方法_php抓取页面加载完成后的数据-优快云博客

抓取这个站的数据比较复杂，页面好几块都是异步加载的，页面加载完毕就会有15个左右XHR请求。首先要弄清楚是那个请求返回的是你想要的数据，比如：
http://jipiao.kuxun.cn/internal_v2/ajax.php?from=PEK&to=SHA&date=2012-07-21&queryid=8e99dbcdcc58c75c&action=getSingleData_v3&p=1167634238556&fn_md5=&emptyrec=0&ota_md5=
得先弄清楚每个参数的意思，然后才可以自己构造，直接访问不可以，做了referer验证，抓取这个地址如下代码:

$aContext = array(
   'http' => array(
    'method' => 'GET',
    'header' =>"Referer:http://jipiao.kuxun.cn/beijing-shanghai.html\r\n"
       ),
   );
$cxContext = stream_context_create($aContext);

$cont = file_get_contents("http://jipiao.kuxun.cn/internal_v2/ajax.php?from=PEK&to=SHA&date=2012-07-21&queryid=8e99dbcdcc58c75c&action=getSingleData_v3&p=1167634238556&fn_md5=&emptyrec=0&ota_md5=", False, $cxContext);

echo $cont;

点击查看原始尺寸

响应的数据完全不知道是啥，需要找对网站相对应的处理数据的js，才能处理出页面显示的效果，总体来说抓取这个网站有难度。
还有一个思路就是模拟百度去抓取，不知道是否可行

该答案已被锁定，无法对其进行评论，编辑及投票。

（）

评论 (0) • 链接 • 2012-07-21

您的投票让令狐葱声誉值增加了10分。

支持投票，不仅能让回答用户获得声誉值，让好答案排序靠前，更能帮助社区筛选出好的内容，构建高质量的知识库。

令狐葱

3 票
4693

解决方案：
直接抓取http://jipiao.kuxun.cn/beijing-shanghai.html?2012-07-21#page_loc的内容然后进行html分析即可。

比如使用方式，代码如下：

<?php     
$url = "http://jipiao.kuxun.cn/beijing-shanghai.html?2012-07-21#page_loc";  
$contents = file_get_contents($url);  
//如果出现中文乱码使用下面代码  
//$getcontent = iconv("gb2312", "utf-8",$contents);   
echo $contents;  
?>

这里的$contents就是你要获得的页面内容。

当然也可以使用curl等方法获得。个人总结整理了一下，有以下几种常用的用php抓取网页中的内容的方法，可以参考这里：http://www.dewen.org/q/3208/php%E6%8A%93%E5%8F%96%E7%BD%91%E9%A1%B5%E6%95%B0%E6%8D%AE%E7%9A%84%E6%8A%80%E6%9C%AF%E8%A6%81%E7%82%B9#7107。

--------------------------------------------(下面为引用供参考)

1.使用file_get_contents

<?php     
$url = "http://www.34ways.com";  
$contents = file_get_contents($url);  
//如果出现中文乱码使用下面代码  
//$getcontent = iconv("gb2312", "utf-8",$contents);   
echo $contents;  
?>

2.使用curl

<?php     
$url = "http://www.34ways.com";  
$ch = curl_init();  
$timeout = 5;  
curl_setopt($ch, CURLOPT_URL, $url);  
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);  
//在需要用户检测的网页里需要增加下面两行  
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);  
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);  
$contents = curl_exec($ch);  
curl_close($ch);  
echo $contents;  
?>

3.使用fopen->fread->fclose

<?php     
$handle = fopen ("http://www.34ways.com", "rb");  
$contents = "";  
do {  
   $data = fread($handle, 1024);  
   if (strlen($data) == 0) {  
   break;  
   }  
   $contents .= $data;  
} while(true);  
fclose ($handle);  
echo $contents;  
?>

最后提醒几点：
1.使用file_get_contents和fopen必须空间开启allow_url_fopen。
方法：

编辑php.ini，设置allow_url_fopen =
On，allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。

2.使用curl必须空间开启curl。
方法：

windows下修改php.ini，将extension=php_curl.dll前面的分号去掉，而且需要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下；Linux下要安装curl扩展。

该答案已被锁定，无法对其进行评论，编辑及投票。

（）

评论 (3) • 链接 • 2012-07-20

0 支持

你可能没理解我的意思，他的内容是动态加载的，我file_get_contens()获取不到想要的数据
你可以去试一下 – 张玉海 2012-07-20
0 支持

这个方法不行，有些信息是抓不到的，比如票价、航空公司 – GreenTea 2012-11-10
0 支持

这肯定不行撒！动态的怎么获取呢？？ – 痞ZI傑 2012-12-19