Python爬虫学习（七）----Scrapy框架实践

最新推荐文章于 2020-11-29 12:09:23 发布

梦想周游全国的孩子

最新推荐文章于 2020-11-29 12:09:23 发布

阅读量422

点赞数

分类专栏： Python

Python 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了一个使用Scrapy框架实现的慕课网课程抓取案例，包括定义爬虫、解析网页内容、跟进URL以及数据存储等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Scrapy框架

Scrapy框架是一个快速抓取web内容的框架，比我之前写的那个爬虫会更简单，更便捷。

事先说明

本人转载至http://blog.youkuaiyun.com/zjiang1994/article/details/52779537#comments
经原博主同意

具体分析

和原博主一样，我也是爬取慕课网的页面（http://www.imooc.com/course/list）

下面是具体实现代码
因为慕课网的页面已经改变，所以我重新编写了选择器相关代码，和原博主一样采用xpath的方式。
难点已经注释，如有不懂，可以在评论区留下问题

MySpider.py
用来定义爬虫的基本信息和过滤器方法

#!/usr/bin/env python3
# -*- coding: UTF-8 -*-
__author__ = 'Gary'

# 引入库文件
import scrapy
from lxml import etree
from scrapytest.CourseItem import CourseItem

# 定义爬虫
class MySpider(scrapy.Spider):
    # 爬虫的名字，这个在后续会用到
    name = "myspider"
    # 允许访问的域
    allowed_domains = ["immoc.com"]
    # 爬取的初地址
    start_urls = ["http://www.imooc.com/course/list"]
    # 爬取方法
    def parse(self, response):
        # 实例一个容器保存一个爬取信息
        item = CourseItem()
        # 这部分是爬取部分，使用xpath 选择
        # 获取每个课程的div
        for box in response.xpath('//div[@class="course-card-container"]/a[@target="_blank"]'):
            # 获取每个div中的课程路径
            item['url'] = 'http://www.imooc.com' + box.xpath('.//@href').extract()[0]
            # 获取div中的课程标题
            item['title'] = box.xpath('.//div[@class="course-card-content"]/h3/text()').extract()[0]
            # 获取div中的标题图片地址
            item['image_url'] = box.xpath('.//div[@class="course-card-top"]/img/@src').extract()[0]
            # 获取div中的学生人数
            item['student'] = box.xpath('.//span/text()').extract()[1]
            # 获取div中的课程简介
            item['introduction'] = box.xpath('.//p/text()').extract()
            # 返回信息
            yield item
            # url跟进开始
            # 获取下一页的url信息
        url = response.xpath("//div[contains(.,'下一页')]//@href").extract()[-2]
        if url:
            # 将信息组合成下一页的url
            page = 'http://www.imooc.com' + url
            # 返回url
            # 停用过滤功能
            yield scrapy.Request(page, callback=self.parse, dont_filter=True)
            # url跟进结束

pipelines.py
用来与文件相关操作

最后爬取完的页面使用json文件存储的，然后图片下载在当前目录的images
你只需要在settting里这样设置

ITEM_PIPELINES = {
‘scrapytest.pipelines.MyPipeline’: 1,
‘scrapytest.pipelines.ImgPipleLine’: 100,
}
ITEM_PIPELINES是用于注册pipelines，逗号后的数字表示处理的优先级，1-1000

IMAGES_STORE = ‘/Users/wjh/Desktop/Python/web_crawler/scrapytest/images’
IMAGES_STORE是为了设置你图片下载完储存的目录

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
import scrapy
from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem
import json

class ScrapytestPipeline(object):
    def process_item(self, item, spider):
        return item

class MyPipeline(object):
    def __init__(self):
        # 打开文件
        self.file = open('data.json', 'w', encoding = 'utf-8')
    # 该方法用于处理数据
    def process_item (self, item, spider):
        # 读取item中的数据
        line = json.dumps(dict(item), ensure_ascii=False) + '\n'
        # 写入文件
        self.file.write(line)
        # 返回item
        return item
    # 该方法在spider被开启时被调用
    def open_spider(self, spider):
        pass
    def close_spider(self, spider):
        pass

class ImgPipleLine(ImagesPipeline):
    # 通过抓取的图片url获取一个Request用于下载
    def get_media_requests(self, item, info):
        # 返回Request 根据托盘url下载
        yield scrapy.Request('http:'+item['image_url'])
    # 当下载请求完成后执行该方法
    def item_completed(self, results, item, info):
        # 获取下载地址
        image_path = [x['path'] for ok, x in results if ok]
        # 判断是否成功
        if not image_path:
            raise DropItem('Item contains no images')
        # 将地址存入Item
        item['image_url'] = image_path
        return item