PHP网络爬虫--新闻抓取

原创

于 2012-06-22 18:23:34 发布 · 3.3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#php #string #output #url #timezone #function

本文介绍了如何使用PHP通过curl获取目标网站源代码，利用正则表达式提取链接，根据用户关键词筛选新闻，并使用PHPMailer类向用户邮箱发送关心的新闻内容。测试结果显示，该方法在多数网站上有效，邮件推送支持gmail、126、163、qq和sina等邮箱。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

README:一个能向指定邮箱推送所关心新闻内容的插件,测试环境：LAMP+Chrome/Firefox,分下面几个步骤实现：

1.获取目标网站源代码：

实现方法：PHP的curl类

ubuntu下的安装方法：

#sudo apt-get install curl libcurl3 libcurl3-dev php5-curl

然户重启Apache服务:

#sudo /etc/init.d/apache2 restart

function GetHtmlCode($url){
	$ch = curl_init();//初始化一个cur对象
	curl_setopt ($ch, CURLOPT_URL, $url);//设置需要抓取的网页
	curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);//设置crul参数，要求结果保存到字符串中还是输出到屏幕上
	curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,1000);//设置链接延迟
	$HtmlCode = curl_exec($ch);//运行curl，请求网页
	return $HtmlCode;
}

2.用正则表达式截取出源代码中的所有链接:

//参数说明:$string=GetHtmlCode($url)

function GetAllLink($string) { 
	  $string = str_replace("\r","",$string); 
	  $string = str_replace("\n","",$string); 
	  $regex[url] = "((http|ht

最低0.47元/天解锁文章

200万优质内容无限畅学