Perl爬虫动手(抓首页)

最新推荐文章于 2023-10-26 08:49:42 发布

转载最新推荐文章于 2023-10-26 08:49:42 发布 · 132 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/xiaoCon/archive/2013/06/02/3114014.html

文章标签：

#爬虫

本文介绍了一个使用Perl语言实现的基本网页爬虫程序。该程序利用HTML::LinkExtor和LWP::Simple模块从指定网址抓取所有链接，并筛选出属于同一站点的链接。后续计划对该程序进行改进，以支持抓取二级和三级页面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面的代码目前只实现了抓取首页，后面会改下，要求抓2级到3级页面。

 #!/usr/bin/perl

use HTML::LinkExtor;
use LWP::Simple;

sub sparit{
  local($base_url)= shift;

  # 抓取URL
  $parser = HTML::LinkExtor->new(undef,$base_url);
  $parser->parse(get($base_url))->eof;
  @links = $parser->links;
  foreach $linkarray (@links){
     my @element = @$linkarray;
     my $elt_type = shift @element;
     while( @element){
       my ($attr_name , $attr_value) = splice(@element, 0, 2);
       $seen{$attr_value}++;
     }
  }

  # 排序/去除非同站URL
  for (sort keys %seen){
       if($_=~m#^$base_url#){
          push(@tmp_url,"$_\n");
       }
  }
  
  # 返回匹配的URL
  return @tmp_url;
  
}