优化SQLite3数据库插入10000条数据

本文探讨了在数据库中高效批量插入大量数据的方法,包括使用事务减少操作次数、利用线程及Handler进行异步处理等手段,有效提升用户体验。
部署运行你感兴趣的模型镜像

如果用普通的方式向数据库中插入10000条数据,会不会妨碍用户体验呢?答案是肯定会,那么如何优化我们的数据库的各种操作呢。

(1)使用事务。

 String sql = "insert into bus_line_station(direct,line_name,sno,station_name) values(?,?,?,?)";
        SQLiteStatement stat = db.compileStatement(sql);
        db.beginTransaction();
        for (Station line : busLines) {
            stat.bindLong(1, line.direct);
            stat.bindString(2, line.lineName);
            stat.bindLong(3, line.sno);
            stat.bindString(4, line.stationName);
            stat.executeInsert();
        }
        db.setTransactionSuccessful();
        db.endTransaction();
        db.close();
可以大大减少插入数据库所需的时间。

那么为啥呢?你如果是普通的插入数据库的方法的话,插入10000条数据需要执行10000次的  事务开始+执行sql+事务结束,而上面事务开始和事务结束只执行了一次。大部分的时间实在执行sql。

(2)http://blog.youkuaiyun.com/hustpzb/article/details/6600591  这个不知道好使不好使。

(3)开启一个线程,执行完插入数据库的操作之后通过Handler来发消息。


您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型,相比 3.0 版本,它提升了图像质量、运行速度和硬件效率

### 可能的原因 - **事务未使用**:如果没有使用事务来批量插入数据,每插入数据都会进行一次磁盘I/O操作,频繁的I/O操作会使插入速度变慢,可能在插入一定数量(如1000数据后就出现问题。SQLite的事务机制可以将多个操作组合成一个原子操作,减少磁盘I/O次数,提高插入效率。 - **资源限制**:系统资源如内存不足,在插入大量数据时,SQLite需要一定的内存来处理数据和执行操作。如果系统内存不足,插入操作可能会受到影响,导致只能插入有限数量的数据。 - **SQLite配置限制**:SQLite本身有一些配置参数可能会限制插入数据的数量或性能,例如页大小、缓存大小等。如果这些参数设置不合理,可能会影响数据插入的效率和数量。 - **数据库文件损坏**:数据库文件可能已经损坏,这会导致插入操作在达到一定数量的数据后失败。文件损坏可能是由于异常断电、磁盘错误等原因引起的。 ### 解决办法 #### 事务使用 在插入大量数据时,使用事务来批量插入。以下是Python中使用`sqlite3`模块的示例代码: ```python import sqlite3 # 连接到数据库 conn = sqlite3.connect('your_database.db') cursor = conn.cursor() # 开始事务 conn.execute('BEGIN') try: for i in range(10000): # 插入大量数据示例 cursor.execute("INSERT INTO your_table (column1, column2) VALUES (?,?)", (i, f'data_{i}')) # 提交事务 conn.execute('COMMIT') print("数据插入成功") except Exception as e: # 回滚事务 conn.execute('ROLLBACK') print(f"插入数据时出错: {e}") # 关闭连接 conn.close() ``` #### 资源管理 - 确保系统有足够的内存。可以关闭其他不必要的程序或服务,释放系统内存。 - 优化SQLite的配置参数,例如增加缓存大小。在Python中可以通过`PRAGMA`语句来设置: ```python import sqlite3 conn = sqlite3.connect('your_database.db') # 设置缓存大小为1000页 conn.execute('PRAGMA cache_size = 1000') cursor = conn.cursor() # 后续插入操作 ``` #### 数据库文件修复 如果怀疑数据库文件损坏,可以使用SQLite的`sqlite3`命令行工具进行修复。首先备份数据库文件,然后使用以下命令: ```bash sqlite3 your_database.db ".dump" | sqlite3 new_database.db ``` 这会将原数据库数据导出并重新导入到一个新的数据库文件中。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值