Perl 抓取google搜索链接 z

最新推荐文章于 2025-12-15 09:16:00 发布

转载最新推荐文章于 2025-12-15 09:16:00 发布 · 527 阅读

文章标签：

#perl #google #.net #windows #url #join

本文介绍了一个使用Perl语言编写的简单爬虫程序，该程序能够从Google搜索结果中抓取指定关键词的相关网页链接，并将结果保存到本地文件。通过用户输入关键词和所需页数，爬虫会遍历相应的搜索结果页面，提取出所有网页链接。

#code by cnhulk

use strict;
use warnings;
use LWP::UserAgent;

print "Please enter a keyword: ";
chomp(my $keyword=<STDIN>);
print "Please enter the number you want: ";
chomp(my $nums=<STDIN>);

my @all_urls;
my @urls;
for (my $i=0;$i<($nums/10);$i++) {
my $start=$i*10;
my $url="http://www.google.cn/search?hl=zh-CN&newwindow=1&q=$keyword&start=$start&sa=N";

my $agent=LWP::UserAgent->new;
my $request=HTTP::Request->new(GET=>$url);
$request->header('User-Agent'=>'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)');
my $response=$agent->request($request);
if ($response->is_success) {
@urls=($response->content =~ /class=r><a href=/"(http.*?)/" target=_blank/g);
}
@all_urls=(@all_urls,@urls);
}