scrapy爬取数据之后，如何存入mysql

最新推荐文章于 2024-09-25 16:13:12 发布

喜欢海呀

最新推荐文章于 2024-09-25 16:13:12 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python:爬虫学习文章标签： scrapy mysql

本文链接：https://blog.youkuaiyun.com/qq_25046261/article/details/79746561

本文介绍如何使用Scrapy爬虫框架抓取的数据，通过自定义的MySQLPipeline存入MySQL数据库。首先，在pipelines.py文件创建MySQLPipeline类，接着在settings.py配置文件中启用ITEM_PIPELINE并设定数据库连接参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pipelines.py文件中新建MySQLPipeline类：

# 导入库
from scrapy.utils.project import get_project_settings
import pymysql

# 写入数据库
class MySQLPipeline(object):
    def connect_db(self):
        # 从settings.py文件中导入数据库连接需要的相关信息
        settings = get_project_settings()

        self.host = settings['DB_HOST']
        self.port = settings['DB_PORT']
        self.user = settings['DB_US