网络爬虫之php抓取json，xml，js，html示例分析及数据解析

现在往往内容服务类的公司都用到了抓取技术，比如房产企业对租房信息的抓取，招聘企业对招聘信息的抓取，彩票行业对开奖信息的抓取，以满足项目需要提供内容服务。

这里介绍下PHP对各种形式的数据抓取，包括对json数据，xml文件，js程序，html页面的抓取。

先写一个通用采集函数（比如采用file_get_contents来抓取）。当然php的抓取不只这一种，更多请求方式点击查看http://blog.youkuaiyun.com/jiedao_liyk/article/details/59553565，这里着重分析对抓取数据的解析，以下对彩票开奖号抓取分析：

通用抓取函数

private function get_contents($url){
    $opts = array(
            'http'=>array(
                    'method'=>"GET",
                    'timeout'=>1,
            )
    );
    $context = stream_context_create($opts);
    return @file_get_contents($url,false,$context);
}

所有采集的基础是找到合适的抓取源，所以抓取第一步是寻找合适的抓取源，由于采集是依赖与别人的网站，所以要尽可能的多找写抓取源，确保数据稳定。

1. 抓取json数据及解析方法（可实际测试代码效果）

private function fetch_by_icaile(){
    $data = array();
    $url = "http://pub.icaile.com/jx11x5kjjg.php?action=chart&date=today&random=0693198428990367&id=505&async=true";
    $content = $this->get_contents($url);
    $obj = json_decode($content);
    $d1 = $obj->data[0];
    if($d1){
        $data['winnum'] = implode(' ',$d1->list);
        $data['issue'] = '20'.$d1->dateNumber;
        $data['time'] = time();
    }
    return $data;
}   

2. 抓取xml数据及解析方法（可实际测试代码效果）

private function fetch_by_500wan(){
    $data = array();
    $url = 'http://kaijiang.500.com/static/info/kaijiang/xml/';    
    $url = $url."/".date("Ymd").".xml?_=".time();
    $xml = simplexml_load_file($url);
    if($p = $xml->row) {
        $issue = $p['expect'];
        $winnum  = str_replace(',',' ',$p['opencode']);
        if (empty($issue) || empty($winnum)) {
            return $data;
        }
        $issue = substr($issue,0, 8).substr($issue,-2);
        $data['issue'] = $issue;
        $data['winnum']   = $winnum;
        $data['time'] = time();
    }   
    return  $data; 
}

3. 抓取js数据及解析方法（可实际测试代码效果）

private function fetch_tjssc_by_huacai(){
    $data = array();
    $url = "http://www.huacai.com/html_cn/js/lot_award_163_i_20.js";
    $content = $this->get_contents($url);
    $content  = str_replace("lot_award.set_data(",'', $content);
    $content  = str_replace(")",'', $content);

    preg_match("/{.*?content\":\"(.*?)\",\"end_time.*?issue_num\":\"(.*?)\",\"lottery_id.*?}/i", $content,$match);

    $issue 	= substr($match['2'],0,8).substr($match['2'],-2);
    $winnum = str_replace(",", " ", $match[1]);

    if(!$issue || !$winnum || strlen($issue) != 10 || strlen($winnum)!=9 ){
        return $data;
    }
    $data['issue'] = $issue;
    $data['winnum'] = $winnum;
    $data['time'] = time();
    return $data;  
}

4. 抓取html数据及解析方法（可实际测试代码效果）

private function fetch_by_tjflcpw(){
    $data = array();
    $url = "http://www.tjflcpw.com/index.aspx?".time();
    $content = file_get_contents($url);
    $content  = str_replace("\r\n","",$content);
    preg_match("/SSC_WinMessage.aspx\">(.*?)<\/a>/i", $content,$match);
    $pos1 = strpos($content, "<!--时时彩-->");
    $content = substr($content, $pos1,2400);
    preg_match("/<li>(.*)<\/li><li>(.*)<\/li><li>(.*)<\/li><li>(.*)<\/li><li>(.*)<\/li>/i",$content,$codes);
    $qishu = substr(trim($match[1]),0,11);
    $kjhm = $codes[1]." ".$codes[2]." ".$codes[3]." ".$codes[4]." ".$codes[5];

    if (empty($qishu) || empty($kjhm)) {
        return $data;
    }
     $issue = substr($qishu,0, 8).substr($qishu,-2);
    $data['issue'] = $issue;
    $data['winnum']   = $kjhm;
    $data['time'] = time();    
    return $data;
}

抓取不到网页数据，一些应该注意的地方

• 有些网页需要设置特定的UserAgent，不同的UserAgent会得到不同的网页请求了，例如手机浏览器和PC浏览器，就会得到不同的网页文件

ini_set('user_agent','Mozilla/4.0 (compatible; MSIE 6.0)');

• 还有就是抓取到的内容是乱码的问题，可以尝试通过下面方法解决（换一种抓取方式并相应设置客户端支持gzip压缩）

private function fetch_by_lehecaissc(){
    $data = array();
    $url = 'http://baidu.lecai.com/lottery/ajax_latestdrawn.php?lottery_type=200'; 
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_ENCODING, "gzip" ); //设置为客户端支持gzip压缩
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30 ); //设置连接等待时间
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_URL, $url );
    $output =curl_exec( $ch );
    curl_close($ch);
    $return=array();
    if($output){
        $result = json_decode($output,true);
        $winnumarr=$result['data'][0]['result']['result'][0]['data'];
        $issue=$result['data'][0]['phase'];
        $return['issue']=$issue;
        $return['winnum']=implode(' ',$winnumarr);
    }
    $return['time'] = time();
    return $return;        
}

大家看到好的抓取，特殊的抓取，或者抓取遇到的特殊问题及解决办法，欢迎评论留言，看到会及时回复，致谢！