一个简单的python sqlite wrapper

最新推荐文章于 2024-06-25 09:42:30 发布

li_yang98

最新推荐文章于 2024-06-25 09:42:30 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： sqlite wrapper python sql import

本文链接：https://blog.youkuaiyun.com/li_yang98/article/details/6173595

Python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种使用SQLite进行高效数据批量插入的方法。通过对比单条插入与批量插入的时间消耗，展示了如何利用execute_batch方法显著提高数据插入速度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

直接上代码，需要注意的是当执行插入或更新操作时尽量使用execute_batch。sqlite执行事务操作的开销是很大的，所以应尽量减少执行commit的次数。我做了一个简单的实验，插入1百万行的数据(每行三列INT型数据)，一条一条插入需要半个小时，而以128K为一个batch批量插入只需要3分钟。

try:
import sqlite3 as sqlite
except:
from pysqlite2 import dbapi2 as sqlite

class SqliteWrapper:
    def __init__(self):
        self.__conn = None
        self.__cursor = None

    def __del__(self):
        self.close()

    def connect(self, dbfile):
        self.close()
        self.__conn = sqlite.connect(dbfile)
        self.__cursor = self.__conn.cursor()

    def close(self):
        if self.__cursor:
            self.__cursor.close()
            self.__cursor = None

        if self.__conn:
            self.__conn.close()
            self.__conn = None

    def select(self, sql):
        self.__cursor.execute(sql)
        return self.__cursor.fetchall()

    def execute(self, sql):
        self.__cursor.execute(sql)
        self.__conn.commit()

    def execute_batch(self, sqls):
        for sql in sqls:
            self.__cursor.execute(sql)
        self.__conn.commit()