sqlite 关于insert效率

最新推荐文章于 2023-07-11 13:30:00 发布
最新推荐文章于 2023-07-11 13:30:00 发布
阅读量135 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 数据库 python
原文链接：https://my.oschina.net/gameserver/blog/71337
本文探讨了在使用SQLite进行批量数据插入时遇到的性能问题，并提出了解决方案，即通过批量操作和事务处理来提高插入效率。

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

今天在用sqlite的insert时,强制插入3W多条数据,居然花了1各半小时.

于是果断找资料,原来sqlite,每次insert的时候都会处理一次事务,那么3W多条数据,也就3W多事务处理,就这样悲剧了.

解决办法,添加代码使用一次事务.

sqlite3_exec(m_sqlite3, "BEGIN", 0, 0, 0);

for(int i=0; i<N; ++i)
{
    insert into **** ;
}

sqlite3_exec(m_sqlite3, "COMMIT", 0, 0, 0);

转载于:https://my.oschina.net/gameserver/blog/71337

sqlite多行插入_SQLite3-批量insert插入多条信息-提高效率的办法
weixin_39899244的博客
12-22 3867
这也是之前进行了十万级别的insert插入信息，因为数量太多，所以感觉一条一条执行简直慢的要死……经过查询，找到了对应的解决办法，极大的提升了插入多条消息的效率。之所以慢，就是因为每一条指令都成了一个事务，从而极大的降低了执行效率，解决办法就是把所有的指令归结为一个事务一次执行即可。下面就是类比代码/*开始事务*/begin transaction;/*万条记录开始*/insert into [表...
SQLite批量INSERT
相忘于江湖的专栏
08-08 1392
在SQLite数据库中进行大批量记录INSERT，有三种方法，三种方法的效率由高低，本文举例说明。
sqlite插入数据效率提升解决方案
aflyeaglenku的博客(QQ1010316426）
03-21 6173
sqlite 插入数据很慢的原因：sqlite在没有显式使用事务的时候会为每条insert都使用事务操作，而sqlite数据库是以文件的形式存在磁盘中，就相当于每次访问时都要打开一次文件，如果对数据进行大量的操作，时间都耗费在I/O操作上，所以很慢。
提升SQLite数据插入效率的方法
afootball的博客
07-27 539
前言 SQLite数据库由于其简单、灵活、轻量、开源，已经被越来越多的被应用到中小型应用中。甚至有人说，SQLite完全可以用来取代c语言中的文件读写操作。因此我最近编写有关遥感数据处理的程序的时候，也将SQLite引入进来，以提高数据的结构化程度，并且提高大数据的处理能力（SQLite最高支持2PB大小的数据）。但是最开始，我发现，直接使用SQL语句的插入效率简直低的令人发指的。后来不断查文档、查资料，才发现了一条快速的“数据插入”之路。本文就以插入数据为例，整合网上和资料书中的各种提高SQLite效率的
解决sqlite3插入数据很慢的问题
令狐少侠
04-14 1万+
初用sqlite3插入数据时，插入每条数据大概需要100ms左右。如果是批量导入，可以引进事物提高速度。但是假设你的业务是每间隔几秒插入几条数据，显然100ms是不能容许的。解决办法是，在调用sqlite3_open函数后添加下面一行代码：     sqlite3_exec(db, "PRAGMA synchronous = OFF; ", 0,0,0);     上面的解决办法貌似治标不治本
使用 Python 将数据插入 SQLite 数据库
迹忆客
07-11 2608
在创建 STUDENT 表时，我们不必将查询存储在单独的变量中。尽管如此，我们仍然可以将 SQL 查询传递给 cursor.execute() 方法，就像我们对上面的 INSERT 语句所做的那样。在这里，我们首先设计我们的 CREATE TABLE 查询并将其保存在 std_table 中。方法创建了一个游标对象，我们可以使用它来执行 SQL 查询来操作指定的数据库，无论是创建表、插入数据、更新数据等。将提交我们当前选择的数据库中的最新更改，而 .close() 将关闭连接。我们只需要导入它并使用它。
android中SQLite数据库中用insert同时插入多条记录的方法和效率比较
12-11
Android 中 SQLite 数据库中用 insert 同时插入多条记录的方法和效率比较 在 Android 开发中，我们常会遇到这样一种情况：在建立一个 SQLite 数据库时，想同时插入大量数据。那么应该怎么做呢？下面我们将比较三种...
SQLite批量插入效率
qq_34471028的博客
03-31 9072
SQLite对于大批量插入数据时的效率提升方法
C# SQLite执行效率的优化教程
08-27
本文主要介绍了关于C# SQLite执行效率优化的相关资料，通过示例代码介绍的非常详细，对大家学习或者使用C# SQLite具有一定的参考学习价值。 一、SQLite简介 SQLite是一款轻型的嵌入式关系型数据库管理系统，诞生已...
SQLite Insert跑分
最新发布
12-28
为了进一步提升SQLite在执行INSERT语句方面的效率，有几种方法值得考虑： - 使用绑定变量而非字符串拼接SQL语句； - 启用特定的`PRAGMA`选项，比如调整页面大小、缓存大小或是禁用日志功能等措施均有助于增强其处理...
C语言实现SQLite的批量插入及性能对比
12-06
这个代码创建了两个数据库，分别使用一个一个插入的方法和批量插入的方法，并且打印出时间，查看不同方法不同插入条数所使用的时间。
lua简单操作sqlite3
weixin_30566149的博客
01-08 206
luasql模块支持sqlite3，可以完成最基本的数据库功能，不过官方文档上写得不是很详细。扫了下源代码，外加实验了下，得出了点经验。 环境 Windows XP，LuaForWindows 代码 require"luasql.sqlite3" function enumSimpleTable(t) print"-------------------" ...
Android 4.2中sqlite操作问题(二)：某些情况下显式启用事务能提高操作效率
CX1859的博客
02-22 485
在sqlite插入数据的时候默认一条语句就是一个事务，有多少条数据就有多少次磁盘操作 如果需要频繁的执行sql语句，可以显式的开启事务，提高效率。 dataBase.beginTransaction(); //手动设置开始事务 //数据插入操作循环 dataBase.setTransactionSuccessful(); //设置事务处理成功，...
提高SQLite每秒INSERT的性能？
asdfgh0077的博客
12-18 2742
优化SQLite是棘手的。 C应用程序的大容量插入性能可以从每秒85次插入到每秒超过96,000次插入！ 背景：我们将SQLite用作桌面应用程序的一部分。 我们将大量配置数据存储在XM
SQLite 插入大量数据慢的解决方法
weixin_34168700的博客
06-15 430
sqlite 插入数据很慢的原因：sqlite在没有显式使用事务的时候会为每条insert都使用事务操作，而sqlite数据库是以文件的形式存在磁盘中，就相当于每次访问时都要打开一次文件，如果对数据进行大量的操作，时间都耗费在I/O操作上，所以很慢。解决方法是显式使用事务的形式提交：因为我们开始事务后，进行的大量操作的语句都保存在内存中，当提交时才全部写入数据库，此时，数据库文件也就只用打开一次。...
如何高效使用SQLite事务 .net (C#)
热门推荐
smeller的专栏
03-26 1万+
今天有个朋友测试 SQLite，然后得出的结论是： SQLite 效率太低，批量插入1000条记录，居然耗时 2 分钟！ 下面是他发给我的测试代码。我晕~~~~~~  using System.Data; using System.Data.Common; using System.Data.SQLite; // 创建数据库文件 File.Delete("test1.db3
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值