Scrapy爬虫笔记——2

最新推荐文章于 2022-10-31 20:34:27 发布

DmrForever

最新推荐文章于 2022-10-31 20:34:27 发布

阅读量362

点赞数

CC 4.0 BY-SA版权

分类专栏：笔记总结 python 文章标签： Scrapy

本文链接：https://blog.youkuaiyun.com/SteveForever/article/details/81604503

笔记总结同时被 2 个专栏收录

53 篇文章

订阅专栏

python

18 篇文章

订阅专栏

本文介绍了使用XPath和正则表达式从数据中提取信息的方法，并详细解释了如何在Scrapy爬虫中通过Spider类参数传递单个或多个网址。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、对数据进行筛选和提取的两种方法：

（1）正则表达式

（2）XPath表达式：

它是一种XML路径语言，用“/”符号选择某个标签，可以进行多层次标签的查找；

获取该标签中的文本信息，通过text() 实现；

使用“//”可以提取某个标签的所有信息，如：通过“//p”提取网页中的所有<p>标签；

获取所有属性X的值为Y的<Z>标签的内容，通过“//Z[@X="Y"]”。

2、Spider的类参数传递

可以通过重写__init__()方法，在构造方法中设置一个变量用于接收用户在运行爬虫时传递过来的参数（传递一个爬虫网址）。

（1）单个网址参数

#steve.py
# -*- coding: utf-8 -*-
import scrapy

from firstpjt.items import FirstpjtItem


class SteveSpider(scrapy.Spider):
    name = 'steve'
    #allowed_domains = ['www.sina.com']
    start_urls = (
        'http://news.sina.com.cn/c/2018-08-12/doc-ihhqtawx1023013.shtml',
        'http://sports.sina.com.cn/basketball/nba/2018-08-12/doc-ihhqtawx1782775.shtml',
        'http://news.sina.com.cn/w/2018-08-12/doc-ihhqtawx0403181.shtml'
    )

    # 重写初始化方法__init__()，设置参数myurl用来传递爬虫网址
    def __init__(self, myurl=None, *args,**kwargs):
        super(SteveSpider,self).__init__(*args,**kwargs)
        print("要爬取的网址：%s"%myurl)
        #重新定义start_urls属性
        self.start_urls=["%s"%myurl]


    def parse(self, response):
        item = FirstpjtItem()
        item["urlname"] = response.xpath("/html/head/title/text()")
        print(item["urlname"])

运行结果：通过-a选项传递参数

（2）多个网址参数

更改__init__()方法的代码为：

# 重写初始化方法__init__()，设置参数myurl用来传递爬虫网址
    def __init__(self, myurl=None, *args,**kwargs):
        super(SteveSpider,self).__init__(*args,**kwargs)
        # 通过split()将传递进来的参数切分，生成一个列表
        myurllist=myurl.split('|')
        for i in myurllist:
            print("爬取网址为：%s"%i)
        self.start_urls=myurllist

运行结果：