scrapy爬虫并保存数据库

原创 已于 2025-02-25 11:03:28 修改 · 1.8k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #爬虫

于 2022-05-07 14:52:34 首次发布
本文详细介绍了如何使用Scrapy框架进行网络爬虫开发，并将抓取的数据保存到数据库中。首先，阐述了Scrapy的结构和中间件的作用，包括下载器中间件与爬虫中间件的功能及常用方法。接着，通过一个京东爬虫实例展示了如何配置关键词、数据库以及具体抓取和解析过程。最后，给出了执行爬虫命令查看结果的步骤。

上一篇文章中简单地讲述用scrapy进行简单爬虫流程

https://blog.youkuaiyun.com/reset2021/article/details/124449231?spm=1001.2014.3001.5502

这里在上篇文章的基础上讲述怎样用scrapy实现爬虫，并且保存到数据库中。

1、scrapy框架

      scrapy框架如下图所示：

å¨è¿éæå¥å¾çæè¿°

 其中，包含两个中间件：下载器中间件（Downloader Middleware）和爬虫中间件（Spider Middleware）。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。

1) downloader Middleware

  • 下载器中间件是介于Scrapy的request/response处理的钩子框架，是用于全局修改Scrapy request和response的一个轻量、底层的系统

  • 用于更换代理IP，更换Cookies，更换User-Agent，自动重试。

  • Scrapy其实自带了UA中间件（UserAgentMiddleware）、代理中间件（HttpProxyMiddleware）和重试中间件（RetryMiddleware）

  • 从原则上说，要自己开发这3个中间件，需要先禁用Scrapy里面自带的这3个中间件。要禁用Scrapy的中间件，需要在settings.py里面将这个中间件的顺序设为None

process_request(request, spider)

Request被Scrapy引擎调度给Downloader之前，process_request()方法就会被调用，也就是在Request从队列里调度出来到Downloader下载执行之前，我们都可以用process_request()方法对Request进行处理。

方法的返回值必须为None、Response对象、Request对象之一，或者抛出IgnoreRequest异常。

process_response(request, response, spider)

Downloader执行Request下载之后，会得到对应的Response。Scrapy引擎便会将Response发送给Spider进行解析。

在发送之前，我们都可以用process_response()方法来对Response进行处理。方法的返回值必须为Request对象、Response对象之一，或者抛出IgnoreRequest异常

</

最低0.47元/天 解锁文章
scrapy爬虫并保存到数据库
01-29
使用Python2.7 ，scrapy爬取信息并保存到MySQL数据库，
scrapy爬虫爬取oschina开源中国博客文章保存到本地数据库
11-09
scrapy爬虫爬取oschina开源中国博客文章保存到本地数据库。 这个是本人最近学习爬虫的一个实践案例，源码解析详情请移步博文：https://blog.youkuaiyun.com/xiaocy66/article/details/83834261
爬虫框架Scrapy（13）保存数据到数据库
Python达人
04-28 2076
文章目录保存数据到数据库（一）数据保存至 MySQL 数据库1. 安装 pymysql2. 创建数据库与表3. 实现 MySQLPipeline（二）数据保存至 MongoDB 数据库1. 安装 pymongo2. 实现 MongoDBPipeline（三）数据保存至 Redis 数据库1. 安装 redis2. 实现 RedisPipeline（四）项目实例——爬取360图片保存到数据库1. 将数据保存到 MySQL 数据库2. 将数据保存到 MongoDB 数据库3. 运行爬虫 保存数据到数据库 在之前
使用Scrapy框架进行爬虫并存储到数据库
热门推荐
L_Shaker的博客
07-19 1万+
使用Scrapy框架爬取美食杰的菜谱信息1.前提环境2.创建Scrapy工程3.修改基本配置3.1配置模拟请求3.2配置爬虫间隔4.编写爬虫器的代码4.1确定爬虫的目标网址4.2确定要爬取的数据项4.3编写爬虫器4.3.1爬取菜谱名称、难度、所需时间、主料、辅料4.3.2爬取菜谱图片链接4.3.3爬取菜谱的做法步骤4.3.4爬取热量、含糖量、脂肪含量5.将爬虫数据存储到数据库（MySQL）5.1安装MySQLdb插件5.2数据库前期准备5.3数据库连接配置5.4启动爬虫 1.前提环境 安装好Pycharm，
scrapy 爬取数据保存到数据库
Hoo_ligan的博客
11-14 535
items.py # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # https://doc.scrapy.org/en/latest/topics/items.html import scrapy class MkwItem(scrapy.Item): link = scrapy.Field() # 图片 type = scrapy.
Scrapy数据存储到数据库
AZURE060606的博客
04-08 874
存储数据的三个关键步骤。
Django中使用scrapy爬虫并存入数据库
firstday_willow的博客
01-08 1664
创建django项目，并编写models.py，并进行数据迁移 生成迁移文件 python manage.py makemigrations 数据迁移 python manage.py migrate 配置Django嵌入 安装包 pip install scrapy-djangoitem Django项目根目录下创建Scrapy项目（这是scrapy-djangoitem所需要的配...
Python Scrapy爬虫、调试Scrapy程序、爬取的数据保存到数据库
roc_wei_chen的博客
07-12 838
创建Scrapy爬虫项目、调试Scrapy程序、爬取的数据保存到数据库、本地文件的操作。
Scrapy中将数据保存至数据库
weixin_30685047的博客
04-04 159
一、在settings.py文件中配置数据库连接参数 # 数据库连接参数 DB_HOST = '192.168.183.1' DB_PORT = 3306 DB_USER = 'root' DB_PASSWORD = '123123' DB_DATABASE = 'a' DB_CHARSET = 'utf8' # 设置一个管道用于将数据插入数据库 ITEM_PI...
scrapy将数据存储到mysql中
不凡De老五
01-05 1035
一、在配置中设置数据库 #setting.py ITEM_PIPELINES = { ...... 'dushuproject.pipelines.MysqlPipeline': 299, } DB_HOST = '127.0.0.1' DB_PORT = 3306 DB_USER = 'root' DB_PWD = '123456' DB_NAME = 'test' D
scrapy爬取伯乐在线博客文章保存到本地数据库
11-09
scrapy爬取伯乐在线博客文章列表保存到本地数据库。这个是本人最近学习爬虫的一个实践案例，源码解析详情请移步博文：https://blog.youkuaiyun.com/xiaocy66/article/details/83834261
scrapy的数据保存到数据库
yujinlong2002的博客
06-26 906
下载链接数据库的依赖在piplines.py 文件中重写open_spider方法​ 连接到mysql数据库重写process_item方法​ 将数据保存到数据库中重写close_spider()​ 关闭爬虫时关闭数据库连接代码解析最后找到setting.py文件中的以下内容并且取消注释并且将指定优先级（优先级是一个 ）在native中查看数据验证程序是否成功运行。
scrapy保存数据
就这样吧
10-30 885
将item写入JSON文件   import json class JsonWriterPipeline(object): def __init__(self): self.file = open('items.jl', 'wb') def process_item(self, item, spider): line = json.dum...
scrapy的保存数据
u011444756的博客
11-16 474
修改settings： FEED_URI（必须的）存储的文件路径FEED_FORMAT 输出feed的序列化格式。 有以下四种格式 JSON JSON lines CSV XMLFEED_STORE_EMPTY Default: False 是否输出空feed(没有item的feed)。FEED_STORAGES
Scrapy笔记-抓取虎嗅网
moon的博客
03-15 769
这篇文章我们通过一个比较完整的例子来教你使用Scrapy，我选择爬取虎嗅网首页的新闻列表。这里我们将完成如下几个步骤：创建一个新的Scrapy工程定义你所需要要抽取的Item对象编写一个spider来爬取某个网站并提取出所有的Item对象编写一个Item Pipline来存储提取出来的Item对象Scrapy使用Python语言编写，如果你对这门语言还不熟，请先去学习下基本知识。创建Scrapy工...
scrapy爬虫储存到mysql_Scrapy爬虫案例 | 数据存储至MySQL
weixin_39805180的博客
01-20 352
首先，MySQL创建好数据库和表image然后编写各个模块item.pyimport scrapyclass JianliItem(scrapy.Item):name = scrapy.Field()url = scrapy.Field()pipeline.pyimport pymysql #导入数据库的类class JianliPipelin...
Scrapy:数据库存储
最新发布
weixin_41897680的博客
10-13 507
使用scrapy爬虫保存数据到数据库
使用Scrapy存储内容
m0_56535661的博客
07-24 811
爬取数据通常都要持久化使用，这就需要将爬取的数据进行存储，下面将通过几种方式将数据存储，代码以及方法的不足，请各位大牛指点一二！！！使用之前需要在settings中开启pipeline在setting中键表示位置(即pipeline在项目中的位置可以自定义)，值表示距离引擎的远近，越近数据会越先经过有多个pipeline的时候，process_item的方法必须return item,否则后一个pipeline取到的数据为None值。
2020-12-25
m0_53957198的博客
12-25 181
数据库mysql笔记 1 1.创建数据库 创建：create 数据库：database create database 数据库名 –创建数据库，名字叫stu 2.查看数据库 查看：show show databases 3.选择数据库 使用、选择：use use 数据库名 4.删除数据库 删除：drop drop database 数据库名 1.整型 有符号和无符号：unsigned tinyint:微整型 smallint:小整型 mediumint:中整型 int：整型 bigint:大整型 age
scrapy爬虫案例保存至数据库
05-17
使用Scrapy爬虫将数据保存到数据库的一般步骤如下： 1. 创建一个数据库（例如MySQL）和表来存储数据。 2. 在Scrapy项目中添加数据库驱动和连接设置。 3. 在Scrapy项目中定义Item对象以保存爬取的数据。 4. 在Scrapy项目中编写Pipeline以处理Item对象，将其保存到数据库中。 下面是一个简单的示例，将Scrapy爬虫数据保存到MySQL数据库中： 1. 创建数据库和表 在MySQL中创建一个名为“mydatabase”的数据库，并创建一个名为“mytable”的表，该表包括以下列：id、title、author和content。 ``` CREATE DATABASE mydatabase; USE mydatabase; CREATE TABLE mytable ( id INT NOT NULL AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255) NOT NULL, author VARCHAR(255) NOT NULL, content TEXT NOT NULL ); ``` 2. 添加数据库驱动和连接设置 在Scrapy项目中的settings.py文件中添加MySQL驱动和连接设置： ``` # settings.py ITEM_PIPELINES = { 'myproject.pipelines.MySQLPipeline': 300, } MYSQL_HOST = 'localhost' MYSQL_DBNAME = 'mydatabase' MYSQL_USER = 'root' MYSQL_PASSWORD = 'mypassword' ``` 3. 定义Item对象 在Scrapy项目中的items.py文件中定义Item对象： ``` # items.py import scrapy class MyItem(scrapy.Item): title = scrapy.Field() author = scrapy.Field() content = scrapy.Field() ``` 4. 编写Pipeline 在Scrapy项目中的pipelines.py文件中编写MySQLPipeline： ``` # pipelines.py import mysql.connector class MySQLPipeline(object): def __init__(self, host, dbname, user, password): self.host = host self.dbname = dbname self.user = user self.password = password @classmethod def from_crawler(cls, crawler): return cls( host=crawler.settings.get('MYSQL_HOST'), dbname=crawler.settings.get('MYSQL_DBNAME'), user=crawler.settings.get('MYSQL_USER'), password=crawler.settings.get('MYSQL_PASSWORD') ) def open_spider(self, spider): self.connection = mysql.connector.connect( host=self.host, dbname=self.dbname, user=self.user, password=self.password ) self.cursor = self.connection.cursor() def close_spider(self, spider): self.connection.commit() self.connection.close() def process_item(self, item, spider): self.cursor.execute('INSERT INTO mytable (title, author, content) VALUES (%s, %s, %s)', (item['title'], item['author'], item['content'])) return item ``` 在这个例子中，MySQLPipeline连接到MySQL数据库并将爬取的数据保存到“mytable”表中。 确保在Scrapy项目的主文件中启用MySQLPipeline： ``` # main.py from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings from myproject.spiders.myspider import MySpider process = CrawlerProcess(get_project_settings()) process.crawl(MySpider) process.start() ``` 当您运行Scrapy爬虫时，数据将被爬取并保存到MySQL数据库中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

reset2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值