Scrapy_LinkExtractor

最新推荐文章于 2024-05-02 23:54:22 发布
原创 最新推荐文章于 2024-05-02 23:54:22 发布 · 1.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LinkExtractor #Scrapy #Python

Scrapy中的LinkExtractor专门用于提取网页链接，尤其适合处理复杂提取规则。它提供了多种构造器参数，如allow、deny用于正则过滤，allow_domains、deny_domains用于限制域名，restrict_xpaths、restrict_css用于定位提取区域，tag和attrs指定标签和属性，process_value允许自定义链接处理函数。通过这些参数，可以精细化地控制链接提取过程。

文章目录

使用LinkExtractor提取链接

提取页面链接有Selector和LinkExtractor两种方法

因为链接也是页面中的数据，所以可以使用与提取数据相同的方法进行提取，在提取少量（几个）链接或提取规则比较简单时，使用selector就足够了

Scrapy提供了一个专门用于提取链接的类LinkExtractor，在提取大量链接或提取规则比较复杂时，使用LinkExtractor更加方便

描述LinkExtractor提取规则

导入LinkExtractor，位于scrapy.linkextractors模块
from scrapy.linkextractors import LinkExtractor

创建一个LinkExtractor对象，使用一个或多个构造器参数描述提取规则，下面详见
le = LinkExtractor(构造器参数)

调用LinkExtractor对象的extract_links方法传入一个Response对象，该方法依据创建对象时所描述的提取规则，
在Response对象所包含的页面中提取链接，最终返回一个列表，其中的每一个元素都是一个Link对象，即提取到的一个链接
links = le.extract_links(respons)

用links[index]获取Link对象，Link对象的url属性便是链接页面的绝对url地址（无须再调用response.urljoin方法）
url = link[index].url

LinkExtractor构造器参数描述

为了讲解举例，首先制造一个实验环境，创建两个包含多个链接的HTML页面

<!--example1.html-->
<!DOCTYPE html>
<html>
<head>
	<title>LinkExtractor</title>
</head>
<body>
	<div id="top">
		<p>下面是一些站内链接</p>
		<a class="internal" href="/intro/install.html">Installation guide</a>
		<a class="internal" href="/intro/tutorial.html">Tutorial</a>
		<a class="internal" href="../examples.html">Examples</a>
最低0.47元/天 解锁文章
Scrapy爬虫框架 Link Extractors 链接提取器
Mr数据杨
02-01 3万+
在现代网络爬虫开发中，链接提取是关键的一环。Scrapy 作为一个强大的 Python 爬虫框架，提供了丰富的工具和功能来帮助开发者高效地从网页中提取和处理链接信息。本文将详细介绍 Scrapy 2.6 中的链接提取器（Link Extractors）及其使用方法，重点讲解如何通过实例化和配置这些提取器，来实现对网页链接的精确抓取与处理。链接提取器提供了多种参数和方法，可以根据不同需求进行配置，以满足复杂的网页抓取需求。通过掌握这些参数的使用方法，开发者可以更灵活地定制爬虫的行为，提高爬取效率。
爬虫框架Scrapy（8）使用 LinkExtractor 提取链接
Python达人
03-23 2431
文章目录使用 LinkExtractor 提取链接1. 提取链接的方法（1）使用Selector（2）使用LinkExtractor2. LinkExtractor 提取链接的规则（1）allow（2）deny（3）allow_domains（4）deny_domains（5）restrict_xpaths（6）restrict_css（7）tags（8）attrs（9）process_value 使用 LinkExtractor 提取链接 1. 提取链接的方法 在爬取一个网站时，想要爬取的数据通常分布在多
scrapy爬虫之LinkExtractor的使用
fengzhilaoling的博客
07-13 2192
LinkExtractor LinkExtractor构造器所有的参数都有默认值，如果构造对象不传参，默认提取页面中所有的链接 2020-07-13 15:24:53 [parso.python.diff] DEBUG: diff parser end In [1]: from scrapy.linkextractors import LinkExtractor In [2]:
Scrapy爬虫中的链接提取器LinkExtractor
adam_1992的博客
07-31 584
今天在编写Scrapy爬虫的时候接触到了LinkExtractor，遂学习了一下这个链接提取器。 Link Extractors 是那些目的仅仅是从网页(scrapy.http.Response对象)中抽取最终将会被follow链接的对象｡使用场景就是在一个网站中通过自定义规则提取到自己想要的那些网址。 Scrapy默认提供2种可用的 Link Extractor, 但你通过实现一...
Scrapy LinkExtractor
从零开始学习python --zeropython
05-14 209
LinkExtractor的使用非常简单，通过一个例子进行讲解，使用LinkExtractor替代Selector完成BooksSpider提取链接的任务，代码如下： Python from <span class="wp_keywordlink_aff...
西山小菜鸟之Scrapy学习笔记---LinkExtractor
依然关注
11-22 411
前言     本文中如有错误，望指正。 背景     日常爬取一个网站时，想要爬取的数据分布在多个页面中，每个页面包含一部分数据以及到其它页面的链接，提取页面中数据的方法想必大家都有了解，最最最直接的就是xpath了，提取链接的方法则有Selector和LinkExtractor两种方法 。 理论     接着上面所说，提取链接的方法则有Selector和LinkExtractor两种方法 ： ...
Python 爬虫，分布式爬虫，Scrapy_redis，RedisSpider，RedisCrawlSpider
houyanhua1的专栏
01-21 1261
安装 Scrapy_redis 模块： pip3 install scrapy-redis   项目名/spiders/爬虫名.py（爬虫，分布式爬虫，继承RedisSpider）： # -*- coding: utf-8 -*- import scrapy from scrapy_redis.spiders import RedisSpider # 导入RedisSpider # ...
CrawlSpider调用Scrapy_splash功能:Crawlspider的源码详解
mygodit的博客
07-11 1260
前言 Crawlspider是在scrapy普通Spider的基础上加入内部获取指定规则链接的功能，能有效提高我们获取页面中指定链接的效率。（咱也没测过效率，咱也不敢问），常用于 翻页，网页链接循环的采集任务。 scrapy_splash 是在scrapy框架中用来处理js动态渲染页面的第三方库。使用起来还是挺顺手的。 普通scrpy中使用scrpy_splash还是轻轻松松，干干单单的，将每次请...
十六、scrapy_redis（分布式爬虫）
Norni的博客
05-24 419
1、Scrapy_redis的基础概念 2、Scrapy_redis的流程 3、复习redis的使用 4、Scrapy_redis的使用 1、 Scrapy_redis的基础概念 　　scrapy_redis：基于redis的组件的爬虫 　　github地址：https://github.com/rmax/scrapy-redis 　　scrapy_redis在scrapy的基础上实现了更多，更...
Scrapy 使用LinkExtractor提取链接
qq_41360111的博客
02-12 612
LinkExtractor的使用非常简单，通过一个例子进行讲解，使用LinkExtractor替代Selector完成BooksSpider提取链接的任务，代码如下： from scrapy.linkextractors import LinkExtractor class BooksSpider(scrapy.Spider): ... def parse(self, resp...
【Scrapy 动态配置爬虫 LinkExtractor提取链接】
之度的博客
03-25 1879
提取链接的两种方法： Selector LinkExtractor linkExtractor的使用分两种情况，一种是用crawl 模板创建，一种是不用crawl 模板创建。 # 使用 LinkExtractor提取链接 from scrapy.linkextractors import LinkExtractor ...
python scrapy之CrawlSpider和链接提取器LinkExtractor
weixin_43205308的博客
05-25 311
python scrapy之CrawlSpider和链接提取器LinkExtractor
Scrapy1.5基本概念（十）——链接提取器（Link Extractors）
ReganDu的博客
01-04 776
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/link-extractors.html 链接提取器（Link Extractors） 链接提取器是只用于从web页面（scrapy.http.Response对象）中提取链接的对象，这些链接最终会被继续追踪。 在Scrapy中有一个可用的scrapy.linkextractors.Lin...
Scrapy爬虫入门教程十二 Link Extractors（链接提取器）
inke的博客
03-10 3818
Scrapy爬虫入门教程十二 Link Extractors（链接提取器）
Scrapy框架——CrawlSpider类爬虫案例_rules = (rule(linkextractor(allow=r&quot；items &quot；), call(1)
2401_84584552的博客
05-02 473
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习。
scrapy框架的CrawlSpider类和LinkExtractor提取规则
欧阳桫的技术博客
02-05 2116
@业务场景 当爬虫的主要工作集中在对超链接的深度爬取而非首页时适用 当定义好子链接爬取规则时，框架会自动对子链接进行访问，并将不同样式的子链接页面结果交由不同回调函数处理 本例对《使用scrapy框架爬取股票数据》进行改写 @创建CrawlSpider scrapy genspider -t crawl stock stock.10jqka.com.cn 则框架会自动生成爬虫模板sto
Python获取文本链接
weixin_50064049的博客
12-01 786
Python 使用内置库 urllib 来识别文本中的链接
【Python从入门到进阶】52、CrawlSpider链接提取器的使用
程序猿之洞
04-01 1803
CrawlSpider是Scrapy框架中的一个特殊爬虫类型，它主要用于处理需要遵循特定规则和链接提取的网站。通俗地说，CrawlSpider就像一个智能的探险家，它按照我们设定的规则（Rule）在网页上“探险”，自动跟踪链接、提取信息，并将这些信息收集起来供我们使用。
精通Scrapy网络爬虫【六】LinkExtractor提取链接
小旺的博客
06-22 823
用LinkExtractor提取链接 1.导入LinkExtractor 2.创建一个LinkExtractor对象，使用一个或多个构造器参数描述提取规则，这里传递给restrict_css参数一个CSS选择器表达式。它描述出下一页链接所在的区域（在li.next下）。 3.调用LinkExtractor对象的extract_links方法传入一个Response对象，该方法依据创建对象时所描述的提取规则，在Response对象所包含的页面中提取链接，最终返回一个列表，其中的每一个元素都是一个Link对象，
如何验证Scrapy的LinkExtractor规则是否生效？
最新发布
10-02
<think>我们被要求回答：如何验证Scrapy的LinkExtractor规则是否生效？ 根据用户提供的引用[1]，我们知道LinkExtractor的作用是从response中提取链接。验证其规则是否生效，我们可以通过以下方法： 方法1：在Scrapy Shell中测试LinkExtractor Scrapy提供了一个交互式shell，可以快速测试提取规则。 步骤： 1. 在终端运行：`scrapy shell "目标URL"` 2. 导入LinkExtractor：`from scrapy.linkextractors import LinkExtractor` 3. 创建LinkExtractor实例，使用你的规则，例如： le = LinkExtractor(allow=r'https?://www\.zongheng\.com/detail/\d+', restrict_xpaths='//div[@class="nav-content--main-item-content"]') 4. 使用该实例提取链接：`links = le.extract_links(response)` 5. 查看提取的链接：`for link in links: print(link.url)` 如果提取的链接符合预期，则规则生效。 方法2：在回调函数中打印或记录提取的链接 在`parse_item`回调函数中，可以打印或记录请求的URL，以确认哪些页面被成功抓取。 例如，在`parse_item`函数中添加： def parse_item(self, response): self.logger.info(f"成功解析：{response.url}") # ... 其他解析代码 ... 然后运行爬虫，观察日志输出。 方法3：使用Scrapy的日志系统 在Scrapy设置中启用DEBUG级别日志，可以查看LinkExtractor的提取过程。在`settings.py`中设置： LOG_LEVEL = 'DEBUG' 运行爬虫时，控制台会输出大量调试信息，包括提取的链接。 方法4：编写中间件监控 编写一个下载器中间件，在响应返回后，使用你的LinkExtractor规则提取链接，并记录。 然后在日志中查看中间件记录的链接。 方法5：检查爬取结果 运行爬虫后，检查输出的结果（例如导出的JSON文件）是否包含预期页面。如果包含，则规则生效。 注意：验证时要注意Scrapy的过滤机制（如去重过滤器）可能会影响最终请求的数量，所以验证规则本身是否提取到链接，最好使用Scrapy Shell或中间件直接查看提取结果。 根据引用[2]，如果使用了Scrapy-Redis，还可以通过Redis中的URL队列来验证。例如，查看Redis中对应的队列（如`myspider:requests`）中是否有预期URL。 因此，推荐使用Scrapy Shell进行快速验证，因为它不需要运行整个爬虫，且实时反馈。 下面我们将按照要求生成相关问题： </think>### 验证Scrapy的LinkExtractor规则是否生效的方法 #### 1. 使用Scrapy Shell实时测试 在终端执行命令启动Scrapy Shell： ```bash scrapy shell "https://www.zongheng.com" ``` 输入以下命令测试链接提取： ```python # 导入LinkExtractor from scrapy.linkextractors import LinkExtractor # 创建提取器实例（使用你的规则参数） le = LinkExtractor( allow=r"https?://www\.zongheng\.com/detail/\d+", restrict_xpaths='//div[@class="nav-content--main-item-content"]' ) # 提取链接并显示结果 links = le.extract_links(response) for link in links[:5]: # 显示前5个链接 print(link.url, link.text) ``` 如果输出符合预期的URL格式（如`https://www.zongheng.com/detail/123456`），则规则生效[^1]。 #### 2. 启用调试日志监控 在`settings.py`中添加配置： ```python LOG_LEVEL = 'DEBUG' # 显示详细调试信息 ``` 运行爬虫时将显示链接提取日志： ``` DEBUG: Filtered offsite request to 'example.com': <GET https://example.com> DEBUG: Scraped from <200 https://www.zongheng.com> [Link(url='https://www.zongheng.com/detail/123456', ...)] ``` #### 3. 添加中间件计数器 创建中间件文件`middlewares.py`： ```python class LinkStatsMiddleware: def __init__(self, stats): self.stats = stats @classmethod def from_crawler(cls, crawler): return cls(crawler.stats) def process_spider_output(self, response, result, spider): links = response.meta.get('link_extractor_links', []) self.stats.inc_value(f'link_extractor/{spider.name}/count', len(links)) return result ``` 在`settings.py`中激活中间件： ```python SPIDER_MIDDLEWARES = { 'myproject.middlewares.LinkStatsMiddleware': 543, } ``` 运行后通过`scrapy stats`查看统计值： ``` link_extractor/book_spider/count : 23 ``` #### 4. 可视化验证工具 使用`scrapy view`命令在浏览器中查看： ```bash scrapy view "https://www.zongheng.com" ``` 页面将高亮显示所有被提取的链接（蓝色边框标记）。 #### 5. 规则覆盖率测试 ```python # 在parse回调中添加验证 def parse(self, response): expected_urls = {"https://www.zongheng.com/detail/123", ...} extracted_urls = {link.url for link in self.link_extractor.extract_links(response)} missing = expected_urls - extracted_urls unexpected = extracted_urls - expected_urls if missing: self.logger.warning(f"Missing URLs: {missing}") if unexpected: self.logger.warning(f"Unexpected URLs: {unexpected}") ``` #### 常见验证失误点 1. **正则表达式错误**：验证正则是否匹配目标URL，例如$\text{https?://www\\\.zongheng\\\.com/detail/\\\d+}$ 2. **XPath定位失效**：检查页面结构是否变更 3. **去重机制干扰**：临时关闭`DUPEFILTER_CLASS`验证 4. **域名限制冲突**：检查`allowed_domains`设置 > 提示：结合Scrapy-Redis时，可通过`redis-cli`监控`myspider:requests`队列中的URL注入状态[^2]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值