分批操作

最新推荐文章于 2021-10-21 10:03:20 发布
原创 最新推荐文章于 2021-10-21 10:03:20 发布 · 590 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#delete #table

本文介绍了一种通过设置每次操作数量并利用死循环实现分批删除数据的方法，并在每批删除后进行日志截断以提高效率。当没有更多记录可删除时，循环终止。

分批操作的典型语句

set  rowcount 2000

while(1=1)

  begin

    dump transaction master with no_log

    delete from table1 where xxxxxxxxxxxx

  if @@rowcount =0 

  break

end

 

每次操作数1000，进入死循环，当删除的记录数等于0时，跳出死循环，在每删除1000行后，进行一次日志截断。

开发技巧2：学会通过while、do-while或for循环进行业务分批处理
Melo_FengZhi的博客
02-15 3489
  这个专栏之前定下的计划是每周会发布一篇，但现在距离上一篇文章的发布已经过去了3个多月的时间了。希望自己从这周开始接下来坚持每周至少输出一篇文章！欢迎各位同学朋友们积极监督！   好，废话少说！现在开始进入正题。这次教给大家的开发技巧就是学会使用while或do-while这两种循环结构进行分页查询，这个分页查询的方式主要包括了查询数据库和调用接口这两种方式。可能这么说大家未必明白，没关系，接下来听我详细讲解。   比如有个业务需求是这样的：将系统A中所有用户的信息上报到B系统中进行数据分析。假设系统A.
【Spring】SpringBoot整合ShardingSphere并实现多线程分批插入10000条数据（进行分库分表操作）。_shardingsphere批量插入
2401_84584763的博客
05-12 1069
学习技术一定要制定一个明确的学习路线，这样才能高效的学习，不必要做无效功，既浪费时间又得不到什么效率，大家不妨按照我这份路线来学习。大家不妨直接在牛客和力扣上多刷题，同时，我也拿了一些面试题跟大家分享，也是从一些大佬那里获得的，大家不妨多刷刷题，为金九银十冲一波！本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取十冲一波！[外链图片转存中…(img-JeVK6O5M-1715482359639)]
基础于SET ROWCOUNT 的分页存储过程
weixin_33994444的博客
02-02 106
Set RowCount 功能:使 Microsoft® SQL Server™ 在返回指定的行数之后停止处理查询。如Declare @SortID --A表的整形主键1,2,3.....1000Set RowCount 10Select @SortID=SortID From [A] Order By SortID DESCPrint @SortID结果为991Set RowCount 10Se...
MS SQL用ROWCOUNT解决TOP子句不支持变量的问题
weixin_34198453的博客
11-08 128
因为仰望ORACLE，所以一直都以为SQL SERVER很笨。 据传SQL 2005有了RowID的东西，可以解决TOP排序的问题。可惜还没有机会体验。在SQL 2000中写存储过程，总会遇到需要TOP的地方，而一旦遇到TOP，因为没办法把TOP后面的数字作为变量写到预编译的语句中去，所以只能够使用构造SQL，使用Exec来执行。不说效率的问题，心里也总觉得这个办法很笨。 实际上，在SQL...
preparedstatement获取过万数据量结果集是否需要分批操作
12-11
当使用PreparedStatement获取过万数据量结果集时，确实需要考虑分批操作。一次性加载大量数据到内存中可能会导致性能问题，甚至引发内存溢出。以下是一些建议和原因： 1. **性能优化**：分批操作可以减少内存占用，...
Java文件拷贝：内存一次性写入与分批操作
Java 文件拷贝是编程中常见的基础操作，本文主要介绍两种不同的数据拷贝方式，适用于Java编程环境。首先，我们回顾一下文件系统的基本操作，特别是在dos命令中用于文件复制的`copy`命令，这为我们提供了一个参考背景...
java8 stream 分批处理大数据集
qq_41184981的博客
10-21 2104
public static void testHandler分批处理集合() { //业务数据 List<String> dataList=new ArrayList<>(); for (int i = 0; i < 100000; i++) { dataList.add(i+""); } int total = dataList.size(); // 每次分批处理个数 int num=500; ...
sql set rowcount
倾听内心的声音
08-20 1830
1.MSDN 上的含义是 指定处理的行数，到达rowcount值后，即便是足条件也不在进行处理了          2.set rowcount  有副作用，如果前面有设置rowcount  不为0  的情形，请注意在进行后续的操作时要先设置rowcount=0           3
sql server 中 SET ROWCOUNT 的具体用法
lingxyd 的专栏
02-28 1万+
SET ROWCOUNT使 Microsoft® SQL Server™ 在返回指定的行数之后停止处理查询。 语法SET ROWCOUNT { number | @number_var } 参数number | @number_var是在停止给定查询之前要处理的行数（整数）。注释建议将当前使用 SET ROWCOUNT 的 DELETE、INSERT 和 UPDAT
sql的ROWCOUNT的说明。
weixin_30267785的博客
01-11 643
set ROWCOUNT 10 select * from tablename = 查询表的TOP 10 条记录。 select @@ROWCOUNT 是查看当前ROWCOUNT 的值。 、*******************************************************************、 下面一段存储过程 --...
Sets 、 Lists工具类的常用方式
hhjjjjjjh的博客
10-20 879
/** * Sets工具类的常用方法 * 并集 / 交集 / 差集 / 分解集合中的所有子集 / 求两个集合的笛卡尔积 * * Lists工具类的常用方式 * 反转 / 拆分 */ private static final Set set1 = Sets.newHashSet(1, 2); private static final Set set2 = Sets.newH...
mysql批次大小_将一个更新划分为几个批次_mysql
weixin_34712106的博客
01-20 482
问：我想以一次5,000行的方式批量更新一个大型表，但我不知道怎样分割数据。该表不包含增量数字或整数主键。怎样才能在保持良好性能的同时实现数据更新呢？答：如果知道哪些行尚未被更新，您可以使用简单的谓词来排除已更新的行，ROWCOUNT设置可以帮助您批量分割数据。以下的代码清单说明了如何使用该设置：SET ROWCOUNT 1000WHILE (1=1) BEGINBEGIN TRANSACTION...
list分批操作算法
zxd8080666的博客
06-23 1159
  对于批量操作数据库，比如list批量更新、插入等。如果一次传入list太大比如2W数据这样数据库的压力会很大。可以利用list的subList方法实现分页分批效果： List&lt;Integer&gt; listPageExpress = new ArrayList&lt;Integer&gt;(); List&lt;Integer&gt; pageList = new ArrayL...
关于跳出while(1)死循环问题
热门推荐
c__dreamer的博客
08-07 3万+
最近也是再看题的时候看到了这个东西。同样也是再写需求中出现的东西。也就是while(1)死循环，有时候我们想让一个while一直循环。到需要的时候跳出循环。这种要怎么办？？？ 来看一道题： while(1){ switch("a"){ case "a" : console.log(true); //修改代码不让while死循环，...
使用Java 8，将List/Set集合按条件拆分为多个集合的方法。
Mr_Fei的博客
12-04 1万+
一、将List转换为两个List集合。 Set同理也可进行转换。 //创建集合 List<Integer> list = Lists.newArrayList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11); //使用stream流进行分组 Map<Boolean, List<Integer>> preAvg = list.s...
hutool写入excel分批操作
最新发布
05-28
### Hutool Excel 分批写入示例代码 Hutool 是一个功能强大的 Java 工具包，提供了对 Excel 文件的简化操作。对于大数据量的 Excel 写入操作，分批写入可以有效避免内存溢出问题[^1]。以下是一个使用 Hutool 库进行 Excel 分批写入的示例代码： ```java import cn.hutool.poi.excel.ExcelWriter; import cn.hutool.poi.excel.StyleSet; import cn.hutool.poi.excel.cell.CellEditor; import cn.hutool.poi.excel.cell.SetCellValue; import java.util.ArrayList; import java.util.List; public class HutoolExcelBatchWriteExample { public static void main(String[] args) { // 创建 ExcelWriter 对象，指定文件名和 Sheet 名称 ExcelWriter writer = new ExcelWriter("batch_write_example.xlsx", "Sheet1"); // 设置表头 List<String> head = new ArrayList<>(); head.add("姓名"); head.add("年龄"); head.add("性别"); writer.write(head, true); // 模拟数据分批写入 int batchSize = 1000; // 每批写入的数据量 int totalRows = 10000; // 总行数 for (int i = 0; i < totalRows; i += batchSize) { List<List<Object>> dataBatch = new ArrayList<>(); for (int j = 0; j < batchSize && i + j < totalRows; j++) { List<Object> row = new ArrayList<>(); row.add("姓名" + (i + j)); row.add(20 + (i + j) % 10); row.add((i + j) % 2 == 0 ? "男" : "女"); dataBatch.add(row); } writer.write(dataBatch, false); // 写入数据，不覆盖表头 } // 关闭写入器 writer.close(); } } ``` 在上述代码中，`ExcelWriter` 是 Hutool 提供的核心类之一，用于写入 Excel 文件。通过设置合理的 `batchSize`，可以将大数据量分成多批次写入，从而降低内存占用[^3]。 ### 注意事项 - 在实际应用中，可以根据硬件资源调整 `batchSize` 的大小以优化性能。 - 使用 `writer.close()` 方法确保所有数据正确写入并释放资源。 - 如果需要处理更复杂的场景（如样式设置），可以通过 `StyleSet` 和 `CellEditor` 等工具进一步定制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值