多表大数量数据导出

最新推荐文章于 2024-09-12 15:02:09 发布
原创 最新推荐文章于 2024-09-12 15:02:09 发布 · 202 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文提供了一个SQL语句脚本，用于导出多表中的多数据，包括内联连接和条件筛选，适用于数据库操作的学习与实践。

 

set linesize 120

 

set pagesize 0

 

set heading off

 

set term off

 

spool D:\demo20111123.txt

 

select a.item2, b.item3, a.item6 from table1 a

       inner join table2 b on a.item1 = b.item1

       where e.npnf in ('2009','2010') and a.clzt <> 0

;

 

spool off

 

 

上面为导多表多数据的SQL语句脚本

多表合并的表格数据导出到excel
weixin_44543433的博客
07-06 1091
所有的表格数据导出到excel原理基本是一样的，只不过要导出多表合并的表格有些问题是需要注意的。医院系统门诊，费用明细查询冲减的导出就会遇到合并表格的问题。因为要将不同表格不同字段的信息，显示在layui表格的同一个列中，单纯地建一个实体类是不能够解决问题的了，要将西药、中药和检查项三表合并，能想到的最简单的合并莫过于先将任意俩表合并起来，再将合并起来的再合并第三个表。 譬如：直接应用Union的...
导出大量数据到excel
05-31
导出大量数据到excel,本人已亲测，对几百万数据已测试过，导出数据比较乐观，里面自带压缩文件功能。
多数据表导出到excel
爱上编程2705
05-26 430
工具类 public class ExportExcelUtils { /** * @Title: exportExcel * @Description: 导出Excel的方法 * @author: liuct @ 2019-01-29 * @param workbook * @param sheetNum (sheet的位置，0表示第一个表格中的第一个sheet) * @param sheetTitle （sheet的名称）
关于大表数据导出方案设想
dianhe7741的博客
12-13 305
本方案和需求都是本人设想仅代表个人观点，没有实际开发过，肯定有很多细节需要推敲，这里针对粗劣的需求提供解决方案。实际使用还请看实际需求和相关资源情况。 背景 很多时候我们需要系统做表格导出的功能，excel或csv，或记事本等等功能需求。本质上这种情况是我们产品功能不完善或不被信任或没有挖掘用户真正需求或很难针对性个性开发的表现。 这样就出现了数据导出的需求，但是对...
oracle下导出某用户所有表的方法(spool导出批处理备份)
mylove20041109的专栏
10-24 282
http://www.oracle-erp.net/viewnews-937   1，使用spool管道输出，然后注释掉首末行，最后双击批处理文件进行备份   set feedback off; set pagesize 0; set heading off; set verify off; set linesize 200; set trimspool on; spool c...
Thinkphp连表查询及数据导出方法示例
10-21
接下来，我们将详细探讨ThinkPHP框架中的连表查询方法及数据导出的实现技巧。 首先，在ThinkPHP中进行连表查询的常见方法是通过模型关联（Model Relation）或者直接使用数据库查询构造器（Db class）。在这个例子中...
MCGS历史数据导出，比较详细
07-08
### MCGS历史数据导出详解 #### 一、引言 MCGS（Monitor and Control Generated System）是一款广泛应用于工业自动化领域的组态软件。它主要用于监控与控制系统的设计与开发，能够快速构建人机交互界面（HMI）。...
逐笔导出工具及使用说明.rar_L2D_l2d数据格式_大智慧 l2d_大智慧 逐笔_大智慧l2d
07-15
本工具可将大智慧L2D文件中的逐笔成交明细导出成csv格式的文本文件，包括成交时间，成交价格，成交方向和成交数量，方便在excel或其他编程工具中调用分析。 L2D乃点播数据，必须在收费帐号大智慧中浏览了逐笔数据才...
java多线程导出excel（千万级别）优化
12-05
Java多线程导出Excel是处理大数据量时的一种高效策略，尤其在面对千万...通过这种多线程和分批处理的方法，可以在不牺牲性能的前提下，安全地处理千万级别的数据导出，使得这种解决方案在生产环境中变得可行且稳定。
java csv大数据量导出(千万级别，不会内存溢出)
11-19
在Java开发中，处理大数据量的数据导出是一个常见的挑战，特别是在CSV格式的文件处理上。CSV（Comma Separated Values）是一种广泛使用的数据交换格式，因其简单性和通用性而受到青睐。然而，当数据量达到千万级别时...
【关于数据大容量的导入导出小结】
飞轩亭
03-29 1万+
                                           关于数据大容量的导入导出小结  /*------------------------------------------------------------------ Author  :feixianxxx(poofly)-- Date    :2010-03-29 
java实现大数量级的数据导出excel，excel数据读取
cai_xu_kun_kun的博客
09-12 1891
分析工具类里面的方法：方法的主要目的是将一个数据列表导出为一个 Excel 文件，使用指定的模板和格式化选项。它通过流式写入的方式高效地处理数据，并确保在完成后正确关闭资源。具体实现的思路，先查询出指定所属地市数据，然后再excelWriter.fill填充到excel表格，最后响应。现在有一个这样的需求：根据指定一个所属地市的所有电缆数据导出成文件（电缆的数据量达到10万级别哦）对于庞大的数据量接口要保证接口响应不能太久，要避免OOM。
Oracle迁移中关于大容量表使用数据泵（expdp、impdp）导出导入容易出现的问题和注意事项
qq_32838955的博客
06-29 5919
oracle迁移、数据泵expdp、impdp。
大批量数据导出优化
SunHongmin
03-09 5168
记一次线上OOM导出优化
大批量数据Excel导出经验总结
忙里偷闲得几回的专栏
06-27 9646
文章目录背景方案效果实现主线程任务生产者消费者SQL愿景参考文献 背景 目前系统中有一些接口做数据的导出，一开始数据量很小，所以在设计的时候性能什么的都没考虑到；随着数据量的不断增加，逐渐出现了一些问题： 耗时增加； SQL执行时间过长，占用数据库连接； 内存占用过高，导致FullGC频繁。 以及老版POI接口的问题： Excel写入过慢； 每个Sheet仅支持65536条数据； 容易导致O...
大量数据快速导出的解决方案-Kettle
g2424173338的博客
05-10 1665
weixin_342614152016-11-07 15:09:00810收藏 文章标签：大数据javaruntime 版权 工程师小C的小店我也想开通小店 Python编程三剑客：Python编程从入门到实践第2版+快速上手第2版+极客编程（套装共3册） 作者：[美] 埃里克·马瑟斯（Eric Matthes）出版社：人民邮电出版社 好评：100.0%销售量：6￥148.2 更多 1.开发背景 在web项目中，经常会需要查询数据导出excel，以前比较常见...
大数据导出（最高可达2.6624亿）
my learning notes
03-27 935
SXSSFWorkbook wb = new SXSSFWorkbook(15);// 构造一个空的工作薄，并指定一个窗口访问 Sheet sh = wb.createSheet(); // 居中 // 宽度设置 sh.setColumnWidth(0, 25 * 256); sh.setColumnWidt
大数据量导出的设计总结
lyh147406的博客
08-13 4163
背景 目前做的一个系统中有多个业务功能存在数据导出的功能，而且以对账明细导出为例，一般一个区县级税务机关下的某个属期的所有入库明细数据可能达到100多万， 由于数据量过大，且现有实现方式不合理，容易出现由于导出数据过多造成的“内存溢出”问题，并且由于现有导出是同步方式，处理时间相对较长，导致 WEBLOGIC 服务器监控到线程执行时间过长 从而产生 预警。 为了避免此类问题，现有实现加了个配...
Java实现excel大数据量导出
热门推荐
王绍桦
04-25 2万+
1.pom.xml配置依赖包 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.9</version> </dependency> <depend...
springboot实现多表的数据导入导出
最新发布
05-28
<think>好的，我现在需要回答用户关于在Spring Boot中实现多表数据Excel导入导出的问题。用户之前已经询问过单表的情况，现在需要扩展到多表。我需要结合之前的回答和用户提供的引用内容，给出具体的实现方案。首先，回顾之前的回答，提到了四种方案：Excel-Boot、EasyExcel、POI和SpreadJS。用户现在的问题是处理多表数据，可能需要同时导入或导出多个相关联的数据表，例如主从表结构，比如订单和订单项。 接下来，我需要考虑每种方案如何支持多表的情况。例如，EasyExcel通过监听器和自定义转换可能更适合处理复杂结构。POI虽然代码量大，但控制力强，适合复杂逻辑。此外，引用中提到Easypoi（引用3、4），可能也是一个选项，因为它支持注解，可能简化多表处理。然后，需要确定如何组织数据。多表导入可能需要分批次处理，或者使用DTO来组合多个实体类的数据。导出时可能需要多个sheet，每个sheet对应一个表的数据，或者合并成一个复杂结构的sheet。 还需要考虑数据校验和事务处理，特别是在导入多表数据时，需要保证数据的一致性。例如，使用事务来确保所有相关表的数据同时成功或回滚。另外，引用中提到EasyExcel处理大文件的内存优势（引用2、5），这对于多表大数据量可能很重要。而Easypoi的注解方式（引用3、4）可能简化字段映射。可能的实现步骤包括：定义组合DTO，使用注解映射多个表字段；在导入时解析Excel并拆分数据到不同表；导出时从多个表查询数据并组合到Excel的不同sheet中。同时，需要处理关联关系，如外键约束，确保数据的完整性。 还需要考虑异常处理，比如某个表的数据导入失败时，如何回滚已导入的数据。事务管理在这里很关键。此外，用户可能需要动态决定导出哪些表，或者根据模板导入，因此动态表头处理也可能涉及。 最后，根据用户提供的引用内容，整合各个方案的优点，给出具体的代码示例，并指出不同方案的适用场景和注意事项。</think>在Spring Boot中实现多表数据的Excel导入导出功能，需要结合数据关联性与业务逻辑进行结构化处理。以下是三种典型实现方案及示例代码： ### 一、基于EasyExcel的关联表处理方案 #### 1. 定义组合DTO映射多表字段 ```java @ExcelIgnoreUnannotated public class OrderExportDTO { // 主表字段映射 @ExcelProperty("订单编号") private String orderNo; // 子表字段映射 @ExcelProperty("商品名称") private String productName; @ExcelProperty("商品数量") private Integer quantity; } ``` #### 2. 导入时数据拆分处理 ```java public class MultiTableDataListener extends AnalysisEventListener<OrderExportDTO> { private List<Order> orders = new ArrayList<>(); private List<OrderItem> items = new ArrayList<>(); @Override public void invoke(OrderExportDTO dto, AnalysisContext context) { Order order = new Order(dto.getOrderNo()); OrderItem item = new OrderItem(dto.getProductName(), dto.getQuantity()); orders.add(order); items.add(item); } @Transactional @Override public void doAfterAllAnalysed(AnalysisContext context) { orderService.batchInsert(orders); // 批量插入主表数据 itemService.batchInsert(items); // 批量插入子表数据 } } ``` #### 3. 导出时多表联合查询 ```java public void exportMultiTable(HttpServletResponse response) { List<OrderExportDTO> data = orderService.getCombinedData(); EasyExcel.write(response.getOutputStream(), OrderExportDTO.class) .sheet("订单明细") .doWrite(data); } ``` **特点**：通过DTO聚合多表字段，利用事务保证数据一致性[^2][^5] ### 二、使用Easypoi实现多Sheet导出 #### 1. 多实体类定义 ```java @Entity @Excel(name = "用户表") public class User { @Excel(name = "用户名") private String username; @Excel(name = "部门ID") private Long deptId; } @Entity @Excel(name = "部门表") public class Department { @Excel(name = "部门名称") private String deptName; } ``` #### 2. 多Sheet导出控制器 ```java @GetMapping("/exportMultiSheet") public void export(HttpServletResponse response) { // 创建包含多个Sheet的工作簿 ExportParams userParams = new ExportParams("用户数据", "用户表"); ExportParams deptParams = new ExportParams("部门数据", "部门表"); Workbook workbook = ExcelExportUtil.exportExcel(userParams, User.class, userService.list()); ExcelExportUtil.exportExcel(deptParams, Department.class, deptService.list(), workbook); workbook.write(response.getOutputStream()); workbook.close(); } ``` **优势**：支持同一文件多个Sheet导出，保持数据分离[^3][^4] ### 三、复杂关联结构的POI实现 #### 1. 多层级数据导入处理 ```java public void importComplexData(MultipartFile file) throws IOException { Workbook workbook = new XSSFWorkbook(file.getInputStream()); Sheet mainSheet = workbook.getSheet("主表"); processMainTable(mainSheet); Sheet detailSheet = workbook.getSheet("明细表"); processDetailTable(detailSheet); } private void processMainTable(Sheet sheet) { sheet.forEach(row -> { if (row.getRowNum() == 0) return; // 跳过标题行 MainEntity entity = new MainEntity(); entity.setCode(row.getCell(0).getStringCellValue()); mainRepository.save(entity); }); } ``` **特点**：精确控制每个Sheet的处理逻辑，适合异构表结构[^5] ### 四、关键问题解决方案 1. **数据关联校验**： ```java @Transactional public void importWithCheck(List<OrderExportDTO> list) { list.forEach(dto -> { if (!deptService.existDept(dto.getDeptId())) { throw new ValidationException("部门不存在"); // 触发事务回滚 } }); // 保存数据... } ``` 2. **大文件分页导出**： ```java public void exportLargeData(HttpServletResponse response) { int pageSize = 10000; ExcelWriter excelWriter = EasyExcel.write(response.getOutputStream()).build(); for (int page = 1; ; page++) { List<DataDTO> data = queryDataByPage(page, pageSize); if (data.isEmpty()) break; WriteSheet sheet = EasyExcel.writerSheet("第"+page+"万条") .head(DataDTO.class).build(); excelWriter.write(data, sheet); } excelWriter.finish(); } ``` ### 性能对比表 | 方案 | 百万数据处理 | 内存消耗 | 开发复杂度 | 扩展性 | |------------|-------------|---------|------------|-------------| | EasyExcel | 30-60秒 | <512MB | 低 | 高 | | POI | 2-5分钟 | >1GB | 高 | 中 | | Easypoi | 1-2分钟 | 800MB | 中 | 较高 |
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值