基于Mojo的perl爬虫

最新推荐文章于 2023-10-26 08:49:42 发布

西电韩旭

最新推荐文章于 2023-10-26 08:49:42 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： perl 文章标签： perl 爬虫 mojo html

本文链接：https://blog.youkuaiyun.com/u010666015/article/details/71756837

本文介绍了一个基于Mojo的perl爬虫实现，作者在不懂HTML、CSS、XML及面向对象编程的情况下，通过示例代码展示如何抓取网页内容。文章中提到，对于获取动态页面信息（如JS接口发送的数据）感到困惑，并寻求帮助。提供的代码能够抓取特定路径的链接并进行深度限制的爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

不多说 Mojo 的perl爬虫，我不懂HTML，CSS，XML，甚至是面向对象的编成也是一知半解。

所以只能照葫芦画瓢，写的不好不要喷

另外我对于 如何获取动态页面的信息十分困惑，例如如何 获取JS接口 发送的信息我就没有看懂

所以请路过大神指点一二

可以留言 鄙人QQ：326889964

#!/usr/bin/perl
use strict;
use 5.20.0;
use Mojo::UserAgent;
use Bloom::Filter;
use Smart::Comments;
use utf8;
use Encode;
no warnings;
 
my $dept_level = 3;
my $baseUrl = Mojo::URL->new($ARGV[0] || 'http://www.weather.com.cn/forecast/');
my ($domain) = $baseUrl =~ qr#http://(?:www.)?([^/]+)#;
my $filter = Bloom::Filter->new(capacity => 100000, error_rate => 0.0001);
my $ua = Mojo::UserAgent->new(max_redirects => 3);
my @Citys;
 
my $callback;$callback = sub  {
    my ($ua, $tx) = @_;
    return if !$tx->success;


    my $dept = $tx->req->headers-&