Scrapy爬虫案例01——翻页爬取

最新推荐文章于 2024-12-19 14:46:46 发布

小赖同学啊

最新推荐文章于 2024-12-19 14:46:46 发布

阅读量3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python 文章标签：爬虫后端 python

本文链接：https://blog.youkuaiyun.com/testManger/article/details/105395491

python 专栏收录该内容

193 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了如何使用Scrapy在PyCharm中创建爬虫项目，并编写了一个名为'freebuf2Spider.py'的爬虫，用于翻页爬取数据。在items.py中定义了保存爬取数据的容器，同时在settings.py中设置了访问间隔时间以实现优雅的爬虫行为。最终，通过运行' scrapy crawl freebuf2 -o freebuf2.csv'将数据导出到CSV文件。

创建工程

　　我是用的是pycharm开发，打开pycharm，然后在下面的“Terminal”中输入命令“scrapy startproject freebuf”。这句话是在你的工作空间中创建一个叫“freebuf”的scrapy工程。如下图：

上图中，因为我的工作空间中已经存在“freebuf”所以第一次创建失败，这里我创建的名字为"freebuf2"，创建成功。freebuf2的目录及说明如下：

编写爬虫

freebuf2Spider.py

　　选中“spiders”文件夹，右键“NEW”->"Python File"，输入文件名“freebuf2Spider”,添加代码。如下图所示。

#coding:utf-8
import scrapy
from freebuf2.items import Freebuf2Item
import time
from scrapy.crawler import CrawlerProcess

class freebuf2Spider(scrapy.Spider):
    name ='freebuf2'

了解本专栏