关于爬虫的一点笔记

最新推荐文章于 2024-04-03 02:00:35 发布

原创最新推荐文章于 2024-04-03 02:00:35 发布 · 310 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了一种在使用Python和pymysql库连接MySQL数据库时，如何通过正确关闭数据库连接来避免'Toomanyconnections'错误的方法，并提供了一个具体的代码示例，包括创建数据库引擎、存储数据到数据库以及在操作完成后关闭连接的具体实现。

关闭连接，避免'Too many connections'

def save(data):
    """存储数据"""
    engine = create_engine('mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'.format(USER, PASS, HOST, PORT, DB))
    connect = engine.connect()
    try:
        df = pd.DataFrame(data, index=[0])
        df.to_sql(name=TABLE, con=connect, if_exists='append', index=False)
    except Exception as e:
        logging.error("\nError: %s, Please check the error.\n" % e.args)
        _ = e
    finally:
        engine.dispose()#关闭连接，避免'Too many connections'

去重

DELETE meituan.meishi
FROM
     meituan.meishi,
     (
     SELECT min(rid) rid, id
     FROM meituan.meishi
     GROUP BY id
     HAVING count(id)>1
     )t
WHERE meituan.meishi.id=t.id
AND meituan.meishi.rid>t.rid;