百万数据文件解析验证入库

文件解析与数据校验流程

最新推荐文章于 2023-06-14 10:28:00 发布

原创最新推荐文章于 2023-06-14 10:28:00 发布 · 749 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一种文件解析并导入数据库的方法，包括创建临时表、数据验证、异常记录等步骤，确保数据准确无误地入库。

代码实现逻辑

1、创建临时表；

2、解析文件入临时表；

3、利用表及字段用临时表和库内实体表进行比较标记;

4、通过验证数据入库；

5、根据标记字段完成解析异常日志记录；

代码参考如下：

    //读取文件数据
           File file = new File(selected.getFilePath());
           //文件不存在
           if(!file.exists()){
               return;
            }
           //创建临时表
           tempTableName = "TMP_" + DateUtil.formatDate(DateUtil.getCurrentDate(), "yyyyMMdd") + "_" + RandomStringUtils.randomAlphanumeric(16).toUpperCase();
            createTempTable(tempTableName);
           //创建日志文件
           logFile = createLogFile(selected);

           //将文件中的数据插入到临时表及验证
           insertAndDealWithTempTable(file, logFile, tempTableName, selected);

验证部分代码举例：
    StringBuffer sb = new StringBuffer();
           sb.append("\r\n UPDATE ").append(tempTableName);
            sb.append("\r\n SET ERRORCODE=").append(ERROR_FILE).append(" ");
            sb.append("\r\n WHERE ERRORCODE=").append(VALID).append(" and PRDE IN (SELECT PRIMARYCODE FROM ").append(tempTableName).append(" GROUP BY PRDE HAVING COUNT(*) > 1) ");
            sb.append("\r\n AND id NOT IN (SELECT MIN(id) FROM ").append(tempTableName).append(" GROUP BY PRDE HAVING COUNT(*)>1) ");
            ps = conn.prepareStatement(sb.toString());
            int count = ps.executeUpdate();
            conn.commit();