sqlite批量插入数据巨慢，java解决方案

最新推荐文章于 2024-08-08 14:31:18 发布

weixin_34115824

最新推荐文章于 2024-08-08 14:31:18 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

文章标签： java 数据库移动开发

原文链接：http://www.cnblogs.com/xiao-tangyuan/p/9556114.html

本文介绍了SQLite数据库引擎特点，作者在Java项目中从MySQL查询数据导出SQLite的db文件时，单条插入耗时280s。后借鉴Android的SQLite使用事务控制批量插入的思想进行优化，将插入时间骤减至0.8s，显著提升了效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SQLite 是一个软件库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是在世界上最广泛部署的 SQL 数据库引擎。SQLite 源代码不受版权限制。

　　最近做一个从mysql数据库查询数据，导出sqlite的db文件，做好之后点击导出按钮，一个1000条数据导出竟然用了280s，有木有。用户会疯掉的。前端点击完之后没啥反应，一直转圈圈，等待服务器响应，于是就打印服务器响应时间，最后发现在保存sqlite时特别慢，因为我是for循环一条一条insert的，所以可以看到本地的db文件以肉眼可见的龟速在增大，所以就上某度搜索sqlite批量插入的方法，大部分人也碰到了跟我一样的问题，但是好像做java的很少用sqlite，大部分都是mysql、oracle等。但是他们用Android的sqlite提供了一种思想，就是使用事物控制批量插入。事物开启之后所有的update会保存在缓存中，commit时会保存本地文件，于是就写了如下代码。直接从280s骤减为0.8s，太爽了。不说了，直接上代码。

package com.sense.devcenter.device.utils;

import com.sense.devcenter.common.utils.PropertyConfig;
import org.apache.commons.dbcp2.BasicDataSource;
import org.springframework.jdbc.datasource.DataSourceUtils;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class SqliteUtils {


  private BasicDataSource dataSource = null;

  private Connection con = null;

  public SqliteUtils(String name) {
    initDataSource(name);
  }

  private static final String path = PropertyConfig.getDevicePath();

  public void update(String sql) {
    try {
      PreparedStatement ps = con.prepareStatement(sql);
      ps.executeUpdate();
    } catch (Exception e) {
      throw new RuntimeException(e.getMessage());
    }
  }

  public void beginTransaction(){
    try {
      con.setAutoCommit(false);
    } catch (SQLException e) {
      e.printStackTrace();
    }
  }

  public void commitTransaction(){
    try {
      con.commit();
    } catch (SQLException e) {
      e.printStackTrace();
    }
  }

  private void initDataSource(String name) {
    synchronized (Thread.class) {
      if (null == dataSource) {
        this.dataSource = new BasicDataSource();
        this.dataSource.setUrl("jdbc:sqlite://" + path + name + ".db");
        this.dataSource.setDriverClassName("org.sqlite.JDBC");
      }
    }
    try {
      con = dataSource.getConnection();
    } catch (SQLException e) {
      e.printStackTrace();
    }
  }

  public ResultSet select(String sql){
    Connection con = null;
    try {
      con = dataSource.getConnection();
      PreparedStatement ps = con.prepareStatement(sql);
      return ps.executeQuery();
    } catch (Exception e) {
      throw new RuntimeException(e.getMessage());
    } finally {
      try {
        DataSourceUtils.doReleaseConnection(con, dataSource);
      } catch (SQLException e) {
        e.printStackTrace();
      }
    }
  }

  public void closeDataSource(){
    try {
      dataSource.close();
      con.close();
    } catch (SQLException e) {
      e.printStackTrace();
    }
  }


}