java-maven-mybatis大数据量批量导入sqlserver

最新推荐文章于 2023-07-28 14:30:41 发布

原创

最新推荐文章于 2023-07-28 14:30:41 发布 · 448 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #java #mysql #大数据 #python

本文介绍了如何使用Java、Maven和MyBatis处理大数据量导入SQL Server的问题。当常规批处理方法因参数过多而失败时，文章提出了一种新方法：将数据文件上传到数据库服务器，然后利用SQL Server的内置备份恢复机制进行导入。通过Spring Boot、MyBatis和自定义存储过程实现，详细步骤包括在Service中创建导入文件、编写工具类、更新DAO的XML配置以及执行导入SQL语句。

java-maven-mybatis大数据量批量导入sqlserver
本次在提供一个关于解决批量导入由于数据量过多，会报出参数过多，我们应该清楚一个问题，sqlserver导入数据时，允许的最大sql长度是3000个字符，但当我们数据过多，及时是使用batch结合事务处理已然会爆掉，实际上我们还可以用另一种方式，将文件生成到数据库所在的服务器上，然后通过数据库本身的备份恢复机制将数据导入到db中，下面是具体操作代码

环境:spring boot-maven-mybatis-sqlserver-tomcat
一、在service实现中创建含有导入数据的文件
@Service
public class DemoServiceImpl extends ServiceImpl<DemoMapper, Demo> implements DemoService {

@Resource
private DemoMapper dmapper;
 
@Override
public void insertDemo(List<Demo> demoList) throws Exception {
    if(ToolUtil.isNotEmpty(demoList)) {
        try{
            //生成存储过程TXT start
            Demo demo = new Demo();
            Demo testDemo = null;
            String filename = "D:/"+demoList.get(0).getFileId()+"demoFileName.txt";
            File newFile = new File(filename);
            StringBuffer sb = new StringBuffer();
            for(int i=0;i<demoList.size();i++){
                testDemo = demoList.get(i);