重拾perl，写了个小爬虫

sdcyzjq

于 2011-09-19 14:14:22 发布

阅读量886

点赞数

CC 4.0 BY-SA版权

分类专栏： Perl 文章标签： perl 多线程 module url

本文链接：https://blog.youkuaiyun.com/sdcyzjq/article/details/6789898

Perl 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何使用Perl语言结合LWPmodule获取网页信息，并详细解释了如何配置代理以适应不同网络环境。虽然没有深入探讨多线程，但为未来可能的需求留下了空间。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一年没有用perl了，发现都快忘光了……

用perl来获取网页信息是很简单的，用LWP module就可以了。

有些时候，比如在公司里，想要爬网页需要使用代理，perl里可以使用LWP::UserAgent来添加代理

use LWP::UserAgent;
my $ua=LWP::UserAgent->new();
$ua->proxy("http","http://xxx.yyy.com");
$ua->env_proxy;

在获取链接内容的时候

my $result=$ua->get($url);
	unless($result->is_success){
		print LOG ("unable to get ".$url."\n");//输出到日志文件
		next;
	}
	my $content=$result->content;//得到网页内容

多线程我没有做，也许以后会补上吧