WebMagic爬取论坛链接实现流程分析

最新推荐文章于 2022-09-05 11:00:12 发布
最新推荐文章于 2022-09-05 11:00:12 发布
阅读量2.1k 收藏
点赞数
文章标签： webmagic 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Jutal_ljt/article/details/53506183
版权

整体爬取论坛页面流程图：

Created with Raphaël 2.1.0 开始 输入关键字 得到关键字搜索页面 是否是应用页面 登陆,否则无法获得posttime 下载该页面,并获得tid和posttime 使用tid和posttime回复该页面 再次下载该页面并爬取apk下载链接 结束 yes no

SpiderTrigger调用Spider工作流程分析：

Created with Raphaël 2.1.0 开始 Sipder.setDownloader() Sipder.addUrl() addUrl()中调用addRequest(new Request(url)),以及signalNewUrl() Spider.thread(20),启动20个线程 run()

Spider工作流程分析：

Created with Raphaël 2.1.0 Spider.run() checkRunningStat()检测怕成是否在运行 initComponent() start 判断downloader是否存在,若为空则使用默认的HttpClientDownloader downloader.setThread(int thread) setThread()调用httpClientGenerator.setPoolSize(thread) 根据thread数目建立threadPool initComponent() End toDoQueue中取到一个request request是否为空 即toDoQueue为空 threadPool中是否是否 还有存活的thread break() waitNewUrl() 将request赋值给final量requestFinal threadPool启动线程 调用processRequest() request是否需要重试 rmRetryRequestFromQueue(page) extractAndAddRequests(page, true); sleep(site.getSleepTime()) apk=pageProcessor.process(page) extractAndAddRequests(page, spawnUrl) yes no yes no yes no

SpiderTirgger Spider 与MyhttpClientDownloader交互的顺序图如下：

Created with Raphaël 2.1.0 SpiderTrigger SpiderTrigger Spider Spider MyHttpClientDownloader MyHttpClientDownloader PageProcessor PageProcessor setDownloader() addUrl() thread(20) 启动20个Spider线程进行爬取 run() 开始执行线程 checkRunningStat() 检测爬虫是否在运行 initComponent() 检查或初始化downloader线程池等Component processRequest() 启动子线程调用processRequest()方法 downloader.download(request, Spider) ProcessRequest()调用downloader的download方法,此处为GET请求 下载,得到page return page rquest重试 如果request需要重试，首先应该从donePushQueue中移除 移除的元素就是队列头部的元素 sleep() process(page) 获得Apk 返回Apk

Downloader中的download(),下载page的流程图如下：

Created with Raphaël 2.1.0 downloader.download()开始 site=task.getSite()其中Site()是在 创建Spider对象时PagePro给的 以下使用httpClient进行页面的下载 getHttpUriRequest()获得HttpUriRequest -getHttpUriRequest()开始 调用selectRequestMethod()获得requestBuilder --selectRequestMethod()开始 String method = request.getMethod() 得到请求方式，若null则默认get 设置请求方式，并返回对应的requestBuilder --selectRequestMethod()结束 设置header 配置requestConfigBuilder 包括代理、超时等 将requestConfigBuilder传给requestBuilder -getHttpUriRequest()结束 得到httpUriReauest，设置请求头等并执行 得到httpResponse 成功,通过handleResponse()得到page 返回page
闹屋
关注
使用java+WebMagic实现电影资源链接爬取
Unitue_逆流
04-28 2688
1、首先百度搜索webmagic网站，网址如下：https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.7.3 2、接下来下载webmagic-0.7.3-all.tar.gz 压缩包解压 3、创建一个项目，在项目中创建一个lib文件夹，将WebMagic中的jar包复制到lib文件夹里面，选取所有的jar包（按下shift...
Java 使用WebMagic爬取网页（简单示例）
深夜无眠的博客
05-20 1663
WebMagic是一个基于Java的开源网络爬虫框架，它提供了很多简单易用的API接口，可以帮助使用者快速构建出高效、可扩展的网络爬虫程序，WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成，核心代码非常简单，主要是将这些组件结合并完成多线程的任务WebMagic的结构分为。
利用WebMagic爬豆瓣电影数据（注解版本）
robinson_911的专栏
01-29 503
WebMagic爬数据（注解版本）官方资料：http://webmagic.io/docs/zh/posts/ch5-annotation/ 继上一篇爬虫文章后，再用注解版来抓取点数据。 一.目标页面（https://www.douban.com/doulist/3907668） 爬取豆瓣电影数据（电影名字，评分，导演信息，电影信息）界面如下图： 二. 注解版本源码分析 现在只爬取单个页面的电影数据，这里写死这个页面@TargetUrl(value = "(https://www.douban
java 爬取评论,Java基于WebMagic爬取某豆瓣电影评论的实现
weixin_36225637的博客
03-11 768
目的搭建爬虫平台，爬取某豆瓣电影的评论信息。准备webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。下载WebMagic源码，或Maven导入，或Jar包方式导入。 码云地址：https://gitee.com/flashsword20/webmagic试运...
WebMagic的学习
weixin_59048239的博客
09-05 765
Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。当一个页面上有多条数据，在类上使用这个标签，可以只扫描这一块区域，当然，类里面如果再次使用这个注解则也是在当前区域选择，如果想要在整个页面选择，需要设置source=RawHtml。当解无法满足要求时，重写这个类的方法，完成操作，这个方法会在抽取结束，字段都初始化完毕之后执行。类，提供了特殊的创建方法，其他的方法是类似的。
WebMagic爬虫框架获取a标签的href属性
qq_35214121的博客
01-14 3351
public class WebMagicUtil implements PageProcessor{ private Site site = Site.me().setRetryTimes(3).setSleepTime(1000).setTimeOut(10000); public void process(Page page) { //爬取id为chapter-lis...
webmagic爬取数据
04-22
在"webmagic爬取数据"这个主题中，我们将深入探讨如何使用WebMagic来抓取京东商品和百度资讯的数据。 首先，WebMagic主要由四个核心组件构成：`Spider`（蜘蛛）、`PageProcessor`（页面处理器）、`Downloader`...
Java网络爬虫基于webMagic爬取X课网所有免费视频信息实例
凉白开00的博客
09-03 2663
说到爬虫呢 当然是python最适合干的事 但是java呢 基于这个庞大成熟的生态圈，也有一些不错的爬虫框架可以在实际项目中使用的。 webMagic就是今天的主角 它在github上的start数量达到了近7000 很了不起了 并且这个是我们国人开发的哦。 简单介绍下吧： webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发 项目结构 ...
java爬虫之webmagic爬取
最新发布
12-27
下面是一个简单的例子，用于说明怎样利用 WebMagic 实现基本功能——即访问指定网站并将特定内容保存至本地磁盘。 #### 定义 PageProcessor 接口实现类 此部分定义了要抓取的目标站点以及相应的 HTML 解析逻辑。 ...
使用Java的WebCollector爬虫框架采集网易云音乐5亿首歌.zip
03-06
这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对...
Webmagic Spider简单框架流程图
12-06
原文链接：http://blog.youkuaiyun.com/yasukusury/article/details/78735589
Webmagic源码分析之运行流程
麒麟木木
10-05 5579
Webmagic是Java中的一个爬虫开源框架，主要有四大核心组件，分别是：Downloader、PageProcessor、Scheduler、Pipeline，并有Spider进行管理。这四个组件分别对应了爬虫生命周期中的下载、处理、管理、持久化。同时还支持XPath、Jsoup、CSS选择器，方便我们对抓取的页面进行解析。
项目中引入webMagic爬取一个网页
2012
12-21 872
从http://webmagic.io/download.html下载的所有依赖jar包比较多，全部导入已有项目后容易出现冲突，可以只导入下面几个jar包 然后写一个公用的方法供调用import us.codecraft.webmagic.Page; import us.codecraft.webmagic.Site; import us.codecraft.webmagic.Spider;
【SpringBoot学习】22、Webmagic 爬虫爬取网络资源
Tellsea
11-12 876
文章目录【爬虫】Java 爬虫1、采用webmagic2、集成webmagic3、爬取优快云案例微信公众号 【爬虫】Java 爬虫 1、采用webmagic 采用采用 webmagic 作为爬虫工具，在线文档 2、集成webmagic 添加依赖，然后就没了，就是这么简单 <dependency> <groupId>us.codecraft</groupId> <artifactId>webmag
JAVA使用webmagic爬虫获取数据
wcuu的博客
11-15 363
<dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> <version>0.7.3</version> </dependency> <dependency> &l
webhave爬虫抓取京东数据
superliang11的博客
07-03 2735
抓取京东店铺商品信息 webmagic使用maven管理 us.codecraft webmagic-core 0.7.2 us.codecraft webmagic-extension 0.7.2 //传店铺url flag= WebMagic.running(shopUrl); //京东店铺商品信息有的在页面能直接
webmagic循环爬取
weixin_30776545的博客
10-17 655
1.第一个小爬虫只能爬取指定的列表页的文章，接下来要自动爬取每一列表页的文章 2.循环爬取process是会循环运行的。其中的循环并不是for循环，而是利用if public void process(Page page) { //列表页 if (page.getUrl().regex(URL_LIST).match()) { System.out...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值