Scrapy框架——CrawlSpider类爬虫案例_rules = (rule(linkextractor(allow=r&quot；items &quot；), call(1)

2401_84584552

于 2024-05-02 23:54:22 发布

阅读量384

点赞数 5

分类专栏：程序员文章标签： scrapy 爬虫 r语言

本文链接：https://blog.youkuaiyun.com/2401_84584552/article/details/138403440

版权

本文介绍了Scrapy框架中的LinkExtractor类，用于定义和执行网页链接提取规则，包括正则表达式匹配、域名限制、回调函数和链接处理策略。同时提到了如何使用item文件、pipeline以及设置文件进行数据处理和存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

start_urls = ['http://tencent.com/']

rules = (
    Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
)

def parse_item(self, response):
    i = {}
    #i['domain_id'] = response.xpath('//input[@id="sid"]/@value').extract()
    #i['name'] = response.xpath('//div[@id="name"]').extract()
    #i['description'] = response.xpath('//div[@id="description"]').extract()
    return i




 Link Extractors 的目的很简单: 提取链接｡ 
   
每个LinkExtractor有唯一的公共方法是 extract\_links()，它接收一个 Response 对象，并返回一个 scrapy.link.Link 对象。 
   
LinkExtractors要实例化一次，并且 extract\_links 方法会根据不同的 response 调用多次提取链接｡ 



   
 **主要参数：**
  
 allow：满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。  
   
 deny：与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。  
   
 allow\_domains：会