WebMagic爬取论坛链接实现流程分析

最新推荐文章于 2022-04-09 15:34:10 发布
原创 最新推荐文章于 2022-04-09 15:34:10 发布 · 2.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#webmagic #爬虫

本文详细介绍了论坛爬虫的工作流程，包括整体爬取页面的过程、SpiderTrigger触发机制、与MyHttpClientDownloader交互顺序及Downloader下载Page流程。适用于希望了解论坛爬虫实现细节的读者。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

整体爬取论坛页面流程图：

Created with Raphaël 2.1.0开始输入关键字得到关键字搜索页面是否是应用页面登陆,否则无法获得posttime下载该页面,并获得tid和posttime使用tid和posttime回复该页面再次下载该页面并爬取apk下载链接结束yesno

SpiderTrigger调用Spider工作流程分析：

Created with Raphaël 2.1.0开始Sipder.setDownloader()Sipder.addUrl()addUrl()中调用addRequest(new Request(url)),以及signalNewUrl()Spider.thread(20),启动20个线程run()

Spider工作流程分析：

Created with Raphaël 2.1.0Spider.run()checkRunningStat()检测怕成是否在运行initComponent() start判断downloader是否存在,若为空则使用默认的HttpClientDownloaderdownloader.setThread(int thread)setThread()调用httpClientGenerator.setPoolSize(thread)根据thread数目建立threadPoolinitComponent() EndtoDoQueue中取到一个requestrequest是否为空即toDoQueue为空threadPool中是否是否还有存活的threadbreak()waitNewUrl()将request赋值给final量requestFinalthreadPool启动线程调用processRequest()request是否需要重试rmRetryRequestFromQueue(page)extractAndAddRequests(page, true);sleep(site.getSleepTime())apk=pageProcessor.process(page)extractAndAddRequests(page, spawnUrl)yesnoyesnoyesno

SpiderTirgger Spider 与MyhttpClientDownloader交互的顺序图如下：

Created with Raphaël 2.1.0SpiderTriggerSpiderTriggerSpiderSpiderMyHttpClientDownloaderMyHttpClientDownloaderPageProcessorPageProcessorsetDownloader()addUrl()thread(20)启动20个Spider线程进行爬取run()开始执行线程checkRunningStat()检测爬虫是否在运行initComponent()检查或初始化downloader线程池等ComponentprocessRequest()启动子线程调用processRequest()方法downloader.download(request, Spider)ProcessRequest()调用downloader的download方法,此处为GET请求下载,得到pagereturn pagerquest重试如果request需要重试，首先应该从donePushQueue中移除移除的元素就是队列头部的元素sleep()process(page)获得Apk返回Apk

Downloader中的download(),下载page的流程图如下：

Created with Raphaël 2.1.0downloader.download()开始site=task.getSite()其中Site()是在创建Spider对象时PagePro给的以下使用httpClient进行页面的下载getHttpUriRequest()获得HttpUriRequest-getHttpUriRequest()开始调用selectRequestMethod()获得requestBuilder--selectRequestMethod()开始String method = request.getMethod()得到请求方式，若null则默认get设置请求方式，并返回对应的requestBuilder--selectRequestMethod()结束设置header配置requestConfigBuilder包括代理、超时等将requestConfigBuilder传给requestBuilder-getHttpUriRequest()结束得到httpUriReauest，设置请求头等并执行得到httpResponse成功,通过handleResponse()得到page返回page
闹屋
关注
使用java+WebMagic实现电影资源链接爬取
Unitue_逆流
04-28 2708
1、首先百度搜索webmagic网站，网址如下：https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.7.3 2、接下来下载webmagic-0.7.3-all.tar.gz 压缩包解压 3、创建一个项目，在项目中创建一个lib文件夹，将WebMagic中的jar包复制到lib文件夹里面，选取所有的jar包（按下shift...
Java 使用WebMagic爬取网页（简单示例）
深夜无眠的博客
05-20 1704
WebMagic是一个基于Java的开源网络爬虫框架，它提供了很多简单易用的API接口，可以帮助使用者快速构建出高效、可扩展的网络爬虫程序，WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成，核心代码非常简单，主要是将这些组件结合并完成多线程的任务WebMagic的结构分为。
利用WebMagic爬豆瓣电影数据（注解版本）
robinson_911的专栏
01-29 512
WebMagic爬数据（注解版本）官方资料：http://webmagic.io/docs/zh/posts/ch5-annotation/ 继上一篇爬虫文章后，再用注解版来抓取点数据。 一.目标页面（https://www.douban.com/doulist/3907668） 爬取豆瓣电影数据（电影名字，评分，导演信息，电影信息）界面如下图： 二. 注解版本源码分析 现在只爬取单个页面的电影数据，这里写死这个页面@TargetUrl(value = "(https://www.douban
java 爬取评论,Java基于WebMagic爬取某豆瓣电影评论的实现
weixin_36225637的博客
03-11 777
目的搭建爬虫平台，爬取某豆瓣电影的评论信息。准备webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。下载WebMagic源码，或Maven导入，或Jar包方式导入。 码云地址：https://gitee.com/flashsword20/webmagic试运...
代理的使用
qq_39368007的博客
03-23 335
代理的使用 有些网站不允许爬虫进行数据爬取，因为会加大服务器的压力。其中一种最有效的方式是通过ip+时间进行鉴别，因为正常人不可能短时间开启太多的页面，发起太多的请求。 使用的WebMagic可以很方便的设置爬取数据的时间（参考第二天的的3.1. 爬虫的配置、启动和终止）。但是这样会大大降低我们爬取数据的效率，如果不小心ip被禁了，会让我们无法爬去数据，那么我们就有必要使用代理服务器来爬取数据...
爬虫框架WebMagic源码分析之Downloader
weixin_33910434的博客
03-27 859
Downloader是负责请求url获取返回值（html、json、jsonp等）的一个组件。当然会同时处理POST重定向、Https验证、ip代理、判断失败重试等。 接口：Downloader 定义了download方法返回Page，定义了setThread方法来请求的设置线程数。抽象类：AbstractDownloader。 定义了...
webmagic爬取数据
04-22
在"webmagic爬取数据"这个主题中，我们将深入探讨如何使用WebMagic来抓取京东商品和百度资讯的数据。 首先，WebMagic主要由四个核心组件构成：`Spider`（蜘蛛）、`PageProcessor`（页面处理器）、`Downloader`...
Java网络爬虫基于webMagic爬取X课网所有免费视频信息实例
凉白开00的博客
09-03 2681
说到爬虫呢 当然是python最适合干的事 但是java呢 基于这个庞大成熟的生态圈，也有一些不错的爬虫框架可以在实际项目中使用的。 webMagic就是今天的主角 它在github上的start数量达到了近7000 很了不起了 并且这个是我们国人开发的哦。 简单介绍下吧： webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发 项目结构 ...
java爬虫之webmagic爬取
最新发布
12-27
下面是一个简单的例子，用于说明怎样利用 WebMagic 实现基本功能——即访问指定网站并将特定内容保存至本地磁盘。 #### 定义 PageProcessor 接口实现类 此部分定义了要抓取的目标站点以及相应的 HTML 解析逻辑。 ...
使用Java的WebCollector爬虫框架采集网易云音乐5亿首歌.zip
03-06
这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对...
【已解决】Java爬虫抓HTTPS出现SSLException
Junnix的博客
04-09 1967
【已解决】Java爬虫抓HTTPS出现SSLException 引言 近期想写一个Java爬虫并实现数据可视化功能的平台 所以想到了用Javamagic爬虫库爬数据，结果发现之前在Linux平台的可以运行的代码搬到本地电脑没法运行，试了很多种方法，最终解决了，解决方案如下： 一：正文 控制台报错语句： [WARN ] 2018-05-12 13:28:11,828 download page https://github.com/code4craft error [us.codecraft.webmagic
从头学习爬虫（二十二）重构篇----WebMagic框架分析之downloader
qq_36783371的博客
04-14 5973
这系列文章主要分析分析webmagic框架，没有实战内容，如有实战问题可以讨论，也可以提供技术支持。欢迎加群313557283（刚创建），小白互相学习~Downloader我们先来看看接口package us.codecraft.webmagic.downloader; import us.codecraft.webmagic.Page; import us.codecraft.webmagic...
webmagic是个神奇的爬虫（二）-- webmagic爬取流程细讲
不了痕的博客
03-12 2万+
webmagic流程图镇楼： 第一篇笔记讲到了如何创建webmagic项目，这一讲来说一说webmagic爬取的主要流程。 webmagic主要由Downloader（下载器）、PageProcesser（解析器）、Schedule（调度器）和Pipeline（管道）四部分组成。 从流程图上可以看出，webmagic爬取信息首先需要依赖给出的一个初始爬取的地址，下载器会下
Java爬虫（webmagic）
热门推荐
实践是最好的方法
10-18 2万+
webMaigc学习地址（强烈推荐）：http://www.oschina.net/p/webmagic 本篇博客只是整理笔记。 　　webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、
Webmagic源码分析之运行流程
麒麟木木
10-05 5599
Webmagic是Java中的一个爬虫开源框架，主要有四大核心组件，分别是：Downloader、PageProcessor、Scheduler、Pipeline，并有Spider进行管理。这四个组件分别对应了爬虫生命周期中的下载、处理、管理、持久化。同时还支持XPath、Jsoup、CSS选择器，方便我们对抓取的页面进行解析。
[Java爬虫-WebMagic]-05-多级爬取
Timeless小帅的博客
02-08 1636
多级爬取 有时候我们需要爬取一些多级的资料 例如 我想爬取博客 所有分栏 的 所有博文 这样的话单纯的像之前的爬取方法爬不到 而且分栏是可以改变的 可能作者突然加了个分栏,你的程序就需要做一次修改 为了解决这种问题,所以可以使用 多次爬取来解决 第一步 配置爬虫入口 这里直接使用简写方式了 //只需要在这里添加上博客地址就可以了 private static String homeUrl = "...
webmagic保存html页面,Java爬虫第11课：webmagic中URL保存与去重
weixin_28729331的博客
06-04 609
在解析页面的时候，很可能会解析出相同的url地址(例如商品标题和商品图片超链接，而且url一样)，如果不进行处理，同样的url会解析处理多次，浪费资源。所以我们需要有一个url去重的功能。URL保存WebMagic提供了Scheduler可以帮助我们解决以上问题。Scheduler是WebMagic中进行URL管理的组件。一般来说，Scheduler包括两个作用：1)对待抓取的URL队列进行管理。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值