python scrapy 保存数据到mysql的坑（1064错误）

最新推荐文章于 2021-03-26 08:10:12 发布

原创

最新推荐文章于 2021-03-26 08:10:12 发布 · 2.4k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #scrapy #mysql #1064错误

在使用Scrapy爬虫将数据存入MySQL时遇到1064错误，问题源于MySQL对语法的严格要求。通过引入pymysql库，成功解决了数据插入问题。提供了解决此类问题的代码示例和个人联系方式。

在将scrapy中的数据存储到mysql中，出现部分数据插入不进去的问题，一直报：
在这里插入图片描述

You have an error in your SQL syntax;

mysql相对于mongo来说，对数据要严格些，有时候，很多SQL语句写对了，还是插不进去数据。针对上面的问题，我使用了一个pymysql中的方法file_count = pymysql.escape_string(item['file_content'])，这样就成功的把数据插入到MySQL中了。

下面贴一下全部的代码：

class MysqlPipeline(object):

    def __init__(self):
        self.host = settings.DB_HOST
        self.port = settings.DB_PORT
        self.user = settings.DB_USER
        self.pwd = settings.DB_PWD
        self.name