scrapy爬虫运行一段时间报错pymysql.err.InterfaceError: (0, ‘‘)--adbapi.ConnectionPool 重连

JennieGerhardt

已于 2022-08-10 17:01:43 修改

阅读量674

点赞数

CC 4.0 BY-SA版权

分类专栏：数据库文章标签： scrapy 爬虫 mysql

于 2022-08-10 10:54:02 首次发布

本文链接：https://blog.youkuaiyun.com/qq_40087229/article/details/126262117

数据库专栏收录该内容

2 篇文章

订阅专栏

本文介绍了解决Scrapy爬虫在运行过程中遇到MySQL连接断开问题的方法。通过在adbapi.ConnectionPool中设置cp_reconnect参数为True，确保了在连接断开后能够自动重连，同时提供了在插入数据前检查连接状态并按需重连的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scrapy爬虫运行一段时间报错pymysql.err.InterfaceError: (0, ‘’)
有两种方法：

在插入前判断是否断连，如果断连则重连
在adbapi.ConnectionPool中设置参数cp_reconnect=True

class MysqlTwistedPipeline(object):
    def __init__(self, dbpool):
        self.dbpool = dbpool

    @classmethod
    def from_settings(cls, settings):
        dbpool = adbapi.ConnectionPool("pymysql", host=settings["MYSQL_HOST"], db=settings["MYSQL_DBNAME"],
                                       user=settings["MYSQL_USER"], passwd=settings["MYSQL_PASSWORD"], charset='utf8',
                                       cursorclass=pymysql.cursors.DictCursor, use_unicode=True,cp_reconnect=True)
        print('数据库已链接-----------')
        return cls(dbpool)

    def process_item(self, item, spider):
        # 使用twisted将mysql插入变成异步执行
        query = self.dbpool.runInteraction(self.do_insert, item)
        query.addErrback(self.handle_error, item, spider)

    def handle_error(self, failure, item, spider):
        # 处理异步插入的异常
        print(failure)

    def do_insert(self, cursor, item):
        tt = cursor._connection._connection
        try:
            tt.ping(reconnect=True)
        except:
            self.dbpool.close()
            self.dbpool = adbapi.MysqlConnectionPool().dbpool()

        # # 执行具体的插入
        insert_sql, items = item.get_insert_sql()
        cursor.execute(insert_sql, items)