scrapy爬虫框架实现简单案例：爬取阳光平台内容

最新推荐文章于 2023-04-29 15:34:05 发布

Lijuce

最新推荐文章于 2023-04-29 15:34:05 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：笔记

本文链接：https://blog.youkuaiyun.com/Ljuice/article/details/86683180

scrapy爬虫框架的熟悉

近期在学习scrapy爬虫框架，通过爬取阳光平台的内容来进一步理解并熟悉此框架。为了以后能够快速回顾这个爬虫框架，在此做个记录。

首先，明确爬取目标。

在这里插入图片描述
这个就是待抓取的平台，其中抓取的数据有标题、日期
不仅如此，我们还需要抓取其中的详细内容，我们随机点击一个链接，便知道需要抓取的是详情内容，如下图
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190128194806531.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xqdWljZQ==,size_16,color_FFFFFF,t_
这样，我们就已经明确了目标，那么就开始朝着这个方向继续前进

其次，观察所需爬取平台的特征（即观察是否适合用xpath方式/json方式）

个人一开始比较倾向于xpath方式爬取，毕竟这个方式对我来说比较亲和，于是便开始对比element和network的内容是否能够一一对应。
Alt
在这里插入图片描述
对比以上两个图，发现两栏的内容相似度较高，都有table，并且对应的tr/td内容比较规则，故初步判定可使用xpath方式

但是，在用xpath方式时要格外注意这个tbody字符串，它在element处存在，但在network中却不存在（如下图）在这里插入图片描述
这一点在编写程序时要格外注意

最后，开始创建scrapy项目并生成爬虫

创建的步骤就不一一赘述了。
创建完后如下图所示：
在这里插入图片描述

下面我们直接开始编写主要程序部分：

先爬取基本的信息

yg.py 文件：

from yangguang.items import YangguangItem

class YgSpider(scrapy.Spider):
    name = 'yg'
    allowed_domains = ['sun0769.com']
    start_urls = ['http://wz.sun0769.com/index.php/question/report?page=']

    def parse(self, response):
        li_list = response.xpath("//div[@class='greyframe']/table[2]//tr")[1:]
        for li in li_list:
            item = YangguangItem()
            item["link"] = li.xpath("./td[2]/a[2]/@href").extract_first()  # 爬取进入详情页面的链接
            item["title"] = li.xpath("./td[2]/a[2]/@title").extract_first()  # 爬取主题
            item["date"] = li