爬虫抓取策略

最新推荐文章于 2024-08-08 09:16:39 发布
原创 最新推荐文章于 2024-08-08 09:16:39 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了爬虫抓取网页的几种策略，包括宽度优先策略、非完全PageRank策略、OCIP策略和大站优先策略。宽度优先策略常用于爬虫开发，非完全PageRank策略在部分下载网页基础上计算重要性，OCIP策略根据页面链接分配权重，大站优先策略优先处理拥有更多待抓取页面的网站。

目录

抓取策略

宽度优先策略

非完全PageRank策略(争议很大,未必比宽度优先好.故而了解即可) 

OCIP策略(Online Page Importance Computation)

 大站优先策略

抓取策略

最简单的一种:按照队列顺序,当前下载网页的URL地址加入到队列的尾部,以此类推.但是这样做往往不太理想,我们的目标是优先抓取最重要的网页.下面介绍四种比较好的解决策略:宽度优先遍历策略,非完全PageRank策略,OCIP策略,大站优先策略

1)宽度优先遍历策略

2)非完全PageRank策略

3)OCIP策略

4)大站优先策略

宽度优先策略

这种策略是一种非常强悍的策略,很多开发者一般采用这种策略.这种策略隐含了一些链接优先级的假设:先出现的链接往往就是最重要的链接.

非完全PageRank策略(争议很大,未必比宽度优先好.故而了解即可) 

PageRank是一种著名的链接分析算法,用来衡量网页的重要性,但是PageRank是一个全局性的算法,就是说网页必须全部下载到了本地端后才可以看出来哪些是最重要的,但是我们往往不能全部下载下来,怎么解决呢?

对于已经下载的网页,加上待下载队列中的URL地址一起

最低0.47元/天 解锁文章
python爬虫爬取策略
LDC，公众号【轻松学编程】
07-05 2514
爬取策略 在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫做抓取策略。下面重点介绍几种常见的抓取策略： 一、深度优先遍历策略 深度优先遍历策略是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接...
1.4 网络爬虫采集策略
Steven的博客
06-30 1958
网络爬虫的采集策略一般分为四种:深度优先策略、广度优先策略、非完全PageRank策略和大站优先策略。 深度优先策略:深度优先遍历策略是指网络爬虫从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪，直至结束，深度优先策略处理方式如下图所示。 深度优先策略是一种在开发爬虫早期使用较多的方法。它的目的是要达到被搜索网页结构的叶结点(即那些不包含任何超链接的HTML文件)。在一个HTML文件中，当一个超链接被选择后，被链接的HTML文件将执行深度优先搜索，即在搜索其余超链接结
Python网络爬虫案例实战：爬虫网络概述-爬取策略
最新发布
andyyah晓波的博客
08-08 746
Partial PageRank算法借鉴了PageRank算法的思想：对于已经下载的网页，连同待爬取URL 队列中的URL，形成网页集合，计算每个页面的PageRank值，计算完之后，将待爬取URL队列中的URL 按照 PageRank值的大小排列，并按照该顺序爬取页面。宽度优先遍历策略的基本思路是：将新下载网页中发现的链接直接插入待爬取URL 队列的末尾。也就是指网络爬虫会先爬取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续爬取在此网页中链接的所有网页，还是以图1-16为例。
爬虫抓取策略介绍
tonglanli的专栏
01-28 1591
Google去年在其官方博客声称已经发现了一万亿的独立URL，面对如此庞大的Web，，分布式的增量爬虫系统是相当的复杂。Google爬虫为了节省带宽，采用了Crawl Caching Proxy(缓存代理)，避免Google多种爬虫(GoogleBot,GoogleBlogsearchBot,GoogleNews Bot等等)重复爬取同一页面。现在网上复制内容或者同一内容不同表现形式导
Hibernate的抓取策略
nayao-net
05-17 180
一、Hibernate的抓取策略 Hibernate抓取策略是指当应用程序需要在关联关系间进行导航的时候，Hibernate如何获取关联对象的策略。 Hibernate有如下几种抓取策略： 1、链接抓取(Join fetching)：Hibernate 通过在select语句中使用out join来获取对象的关联实例或者关联集合。 2、查询...
搜索引擎—网络爬虫抓取策略
热门推荐
未来之歌
11-13 1万+
爬虫的不同抓取策略，就是利用不同的方法确定待抓取URL队列中URL优先顺序的。爬虫的抓取策略有很多种，但不论方法如何，基本目标一致：优先选择重要网页进行抓取。 网页的重要性，评判标准不同，大部分采用网页的流行性进行定义。效果较好或有代表性的抓取策略： 1、宽度优先遍历策略 2、非完全PageRank策略 3、OCIP策略 4、大站优先策略1、宽度优先策略（Breath First）基本思想
深入指南：编写爬虫抓取在线论坛和评论区数据的策略与实践
06-29
然而，由于其动态加载和复杂的页面结构，编写爬虫抓取这些数据可能具有挑战性。本文将详细探讨如何编写爬虫以爬取在线论坛或评论区的数据，包括技术选型、策略规划、实施步骤以及注意事项。 编写爬虫爬取在线论坛或...
精选资源
京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数据.zip
11-01
标题中的“京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数据”指的是使用网络爬虫技术从这四个知名电商平台（京东、淘宝、苏宁、亚马逊）获取商品的相关信息，并进行数据分析的过程。这个过程通常涉及以下几个...
深入嵌入内容的迷宫：Python 爬虫抓取网页嵌入物的全面策略
07-07
Python 爬虫，通常被称为 Python Spider 或 Python Web Scraper，是一种使用 Python 编程语言编写的自动化脚本或程序，用于从...7. **爬取策略**：遵守 `robots.txt` 文件的规则，合理设置爬取频率，避免对网站服务
网络爬虫的抓取策略
weixin_34220179的博客
04-15 3963
遍历策略是爬虫的核心问题，在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面而决定这些URL排列顺序的方法，叫做抓取策略爬虫策略主要有以下几种： 一，深度优先遍历策略： 深度优先遍历测试是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路的链接之后，在再转入下一个起始页，继续跟...
抓取策略（Fetching strategies）
数据库天地
05-06 751
转自：http://sishuok.com/forum/blogPost/list/3805.html 实例A引用实例B，B如果是代理的话（比如多对一关联中）：如果遍历A的查询结果集（假设有10条记录），在遍历A的时候，访问B变量，将会导致n次查询语句的发出！这个时候，如果在B一端的class上配置batch-size，hibernate将会减少SQL语句的数量。 Hib...
5种策略，一次性搞定爬虫抓取
m0_48891301的博客
10-05 3107
本文重点介绍几种常见的抓取策略。深度优先搜索是一种在开发爬虫的早期使用较多的方法。它的目的是（即那些不包含任何超链的HTML文件）。在一个HTML文件中，当一个超链被选择后，被链接的HTML文件将执行深度优先搜索，即在搜索其余的超链结果之前必须先完整地搜索一条单独的链。深度优先搜索沿着HTML文件上的超链走到不能再深入为止，然后返回到某一个HTML文件，再继续选择该HTML文件中的其他超链。当不再有其他超链可选择时，说明搜索已经结束。优点是能遍历一个Web站点或深层嵌套的文档集合；
详解爬虫策略，反爬虫策略，反反爬爬虫策略
m0_57021623的博客
09-15 5400
爬取策略是网络爬虫在执行网页抓取任务时所遵循的规则或策略。这些策略决定了爬虫如何从一个页面转到另一个页面，什么时间进行抓取，以及应该抓取哪些内容。
网络爬虫策略介绍
hebeind100的博客
07-22 796
网络爬虫策略介绍 　　Web爬虫(Crawler,Robot,Bot,Spider)与爬取(Crawling)，被认为所谓的SEO学习的第一步。由于现在各大搜索引擎提倡通过sitemap主动提交内容，避免一些重要内容没有被及时抓取取到或者由于被搜索引擎大量抓取而影响服务器性能，所以网络爬虫原理对SEO显得已经并不是那么重要了，特别是实时搜索的出现。不过这里还是要说下爬虫爬取策略，进一步了解搜...
常见的反爬虫和应对方法
weixin_30266885的博客
01-22 1080
0x01 常见的反爬虫 这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来...
Hibernate 原汁原味的四种抓取策略
weixin_30378623的博客
05-12 143
最近在研究 Hibernate 的性能优化的时候碰到了"抓取策略", 由于以前没有详细的研究过, 所以到处找资料, 但是无论从一些讲 Hibernate 书籍,还是他人 Blog 中都没有找到详细 介绍 Hibernate 文档中所说的原汁原味的抓取策略, 综合懒加载等等特性混在了一起, 所 以在这自己在借鉴了他人的基础上研究了下原汁原味的 Hiberna...
python学习笔记——爬虫的抓取策略
weixin_33895657的博客
05-14 378
1 深度优先算法   2 广度/宽度优先策略 3 完全二叉树遍历结果 深度优先遍历的结果：[1, 3, 5, 7, 9, 4, 12, 11, 2, 6, 14, 13, 8, 10] 广度优先遍历的结果：[1, 3, 2, 5, 4, 6, 8, 7, 9, 12, 11, 14, 13, 10] 4 实践中怎么来组合爬取策略 （1）一般来说，重要的网页距离入口站点的距...
爬虫的一点策略
hober的专栏
07-28 440
这是几次爬虫项目总结的一点经验，因为项目主要是使用Python Scrapy爬虫，所以大多与Scrapy相关。 1.采用xpath或css方式定位，尽量采用全局唯一的字段来定位，如id，class 2.通过F12找到html元素信息是经过浏览器渲染的最终结果。要想获得原本的html文件的内容，右击页面空白部分查看源代码即可。这才是我们通过scrapy爬取网页获取的html的直接结果。 3.一...
爬虫（20）：深度爬取策略（2）
yx1179109710的博客
07-05 656
import re import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"} """ <a class="title-...
网络爬虫抓取策略的作用
05-30
网络爬虫抓取策略是指针对网站的特定抓取需求，制定的一系列策略和规则。其作用主要有以下几个方面： 1. 优化抓取效率：通过合理的抓取策略，能够尽可能地减少冗余请求，提高抓取效率。 2. 保护被抓网站：合理的抓取策略能够避免过度频繁的请求，减轻被抓网站的服务器负担，保护被抓网站的正常运营。 3. 提高抓取质量：通过合理的抓取策略，能够抓取到更加有价值的内容，提高抓取质量。 4. 避免被封禁：如果抓取策略不合理，可能会被目标网站识别为爬虫，并进行封禁，导致无法正常抓取数据。 综上所述，网络爬虫抓取策略的作用非常重要，对于爬虫的抓取效率、质量和被封禁的风险都有着重要的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Shallow_Carl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值