几百万爬虫踩坑

EuclideanSpace

于 2021-03-23 10:11:03 发布

阅读量110

点赞数

分类专栏： scrapy 文章标签： mysql mongodb 爬虫

本文链接：https://blog.youkuaiyun.com/lgyt240054/article/details/115111036

版权

scrapy 专栏收录该内容

2 篇文章

订阅专栏

1. 如果持久化的数据库用的是mysql，注意连接的时候字符串用 utf8mb4，不然有些字符串插不进去

pymysql.connect(host="127.0.0.1", user="root", password="123456", database="houseUpdate", charset="utf8mb4")

2. 尽量用 mongodb，因为你不知道你采集的字符串能有多长，所以设计mysql的时候会出现采集数据过长插不进去的情况

3. 如果用mysql插入，注意替换数据中的 ’，和 "，因为采集的数据可能有这两个符号，导致拼接的时候产生错误。另外，最外面的 sql 语句建议用 """，如下

insertSql = """INSERT INTO house_projectbrief(proIntro, houseId, naviUrlName, cityId)VALUES("%s", "%s", "%s", "%s")"""

insert = insertSql % (
       self.delete_mark(item['proIntro']), item['houseId'],
       item['naviUrlName'], item['cityId']
 )
insertObj(insert)


def delete_mark(item):
    return item.replace('"', "'")