python3利用Scrapy实现爬虫--学习笔记

最新推荐文章于 2025-06-24 09:31:57 发布

原创最新推荐文章于 2025-06-24 09:31:57 发布 · 1.5k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #scrapy #爬虫

python 专栏收录该内容

66 篇文章

订阅专栏

本文介绍使用Python Scrapy框架爬取优快云博客阅读排行榜的方法。通过创建项目、定义爬取项、编写爬虫逻辑及设置数据管道，实现对指定页面上的文章标题与阅读数的抓取，并将数据保存到本地文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目的：需要从网页上爬去一些信息

工具：Python scrapy

爬去优快云中博客的阅读排行

第一步：

创建scrapy项目 scrapy startproject XXX

第二步：

创建爬虫进入项目目录执行 scrapy genspider csdn_spider youkuaiyun.com

此时的项目结构为

第三步：

编辑 csdn/item.py 定义我们需要爬取的字段

这里我们爬取阅读排行前十名的文章标题和阅读次数

name 为文章标题

total 为阅读数量

import scrapy


class CsdnItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    total = scrapy.Field()

第四部：

编辑爬虫文件 csdn/spiders/csdn_spider.py

import scrapy
from csdn.items import CsdnItem


class CsdnSpiderSpider(scrapy.Spider):
    name = 'csdn_spider'
    allowed_domains = ['youkuaiyun.com']
    start_urls = ['https://blog.youkuaiyun.com/wuchenlhy']

    def parse(self, response):
        body = response.xpath('//*[@id="hotarticls"]/ul[2]/li')
        for value in body:
            title = value.xpath('./a/@title').extract()[0]
            total = value.xpath('./span/text()').extract()[0]
            print(title, total)
            item = CsdnItem()
            item['name'] = title
            item['total'] = total
            yield item

第五步：

保存我们爬取到的内容

编辑csdn/settings.py

找到这一段代码取消掉注释

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
#ITEM_PIPELINES = {
#    'csdn.pipelines.CsdnPipeline': 300,
#}

变成这个样子

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'csdn.pipelines.CsdnPipeline': 300,
}

之后编辑csdn/pipelines.py

class CsdnPipeline(object):

    def process_item(self, item, spider):
        with open('csdn.txt', 'a') as fp:
            fp.write('{0} {1}\n'.format(item['name'], item['total']))