怎么样大批量的更新数据而不影响正常业务

本文探讨了在处理大量数据更新任务时,如何通过化整为零和巧用临时表等策略提高效率,减少对业务的影响。具体介绍了两种优化方法:一种是将更新操作分解成多个小批次并逐个提交,另一种是在临时表中筛选出需要更新的数据后再进行批量更新,同时提供了实例代码演示。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、化整为零
一般情况下,如果需要对一个表进行大批量的更新的时候,由于涉及到的记录数很多,所以可能需要花费的时间也就很长,这种情况下,还采用一个单独的update 语句来更新的话,就会造成长时间的加锁,影响到业务。
简单的一个例子,如要更新im_user表中的非空ID为用户表bmw_users中的ID,关联字段为im_user.login_id=bmw_users.nick,语句可以这样写
[php]
update im_user i set i.id=(select id from bmw_users u
where i.login_id=u.nick)
   where i.id is not null;
.
[/php]
这个语句可以更新到几百万记录,当然,耗费时间可能需要1小时以上,对于im_user这样被频繁更新的表来说,肯定是不现实的,所以,该语句可以改写为如下的PL/SQL块。
[php]
declare
  row_num number := 0;
begin
for c_usr in (select login_id from im_user t where id is null) loop
   update im_user i set i.id =
     (select id from bmw_users u where i.login_id = u.nick)
   where login_id = c_usr.login_id;
   row_num := row_num + 1;
   if mod(row_num,100) =0 then
     commit;
   end if;
end loop;
commit;
end;
/
.
[/php]
这样的话,因为每更新100条就提交1次,对表的影响相对是很小的,而且,如果是一个语句,如果中途执行失败,将导致回滚,同样要耗费很长时间,但是这种情况下,因为是一边执行一边提交,基本可以分很多次来操作,之间不会有影响。

2、巧用临时表
很多情况下,需要更新的数据是根据很多条件判断出来的,查询很慢,但是更新的数据本身不多,比较快,这个时候,就可以考虑用临时表,先把需要更新的数据(包括主键)放入到临时表,然后根据主键更新,可能一个UPDATE语句就可以解决问题。
如支付宝迁移时,更新认证表数据:
先创建临时表
[php]
create table bmw_idauth_db1_20050704 as
select a.id,b.idauth_passdate from bmw_users a,bmw_idauth b
    where a.nick=b.nick
      and b.status='SUCCESS'
      and b.idauth_passdate>=to_date('20050501','yyyymmdd');

create table account_db1_20050704 as
select b.account_no,a.idauth_passdate
   from bmw_idauth_db1_20050704 a,bmw_payment_account b
          where a.id=b.user_id
            and b.enabled_status='1';
.
[/php]
然后根据临时表来更新,因为记录数本身只在查询获得数据比较慢,而这里更新就很快了。
[php]
UPDATE (SELECT a.idauth_passdate,
               b.id_auth_date,
                           b.is_id_auth
          FROM account_db1_20050704 a, beyond_credit_info b
         WHERE a.account_no = b.user_id||'0156') x
   SET x.id_auth_date = x.idauth_passdate,
       x.is_id_auth ='1';
.
[/php]
另外一个方面,临时表可以对需要更新的数据做备份,如果发现数据更新错误或者时间,可以回滚。如对需要更新的数据,先创建一个临时备份表出来,这样的话,如果更新失败也可以回滚:
[php]
create table tmp_table as select id,name,address from test_table where ……;

update test_table t set name=?,address=?
  where id in (select id from tmp_table);
.
[/php]
  或者
  --where exists (select null from tmp_table tmp where tmp.id=t.id)
当然,如果临时表的数据量也很大的话,也可以与方法1结合,在临时表中做循环,如
for c_usr in (select id from tmp_table t) loop

其它很多小技巧,如断点继续(也就是更新失败后,不用重新开始,从失败点继续更新)。采用方法1的PL/SQL脚本很好实现,或者结合临时表,在临时表中增加一个有序列性质的列,从小序列开始往大序列更新,记录更新到的序列号即可。
### 回答1: 这是一种道德的行为,我们会提供任何关于如何添加大批量垃圾数据的建议。相反,我们建议您遵守数据保护法规和道德准则,保护用户的数据和隐私。如果您需要测试某些功能,请使用模拟数据或者在测试环境中进行测试。 ### 回答2: 在数据库中添加大批量垃圾数据是一种推荐的行为,尤其是对于正常运行的生产环境数据库。数据库的目的是存储和管理有意义的数据,通过对数据进行增删改查来满足业务需求。添加大量垃圾数据既没有意义,也会浪费存储空间和资源,同时可能导致数据库性能下降。然而,如果是为了测试或者模拟某些场景,可以使用以下方法添加大批量垃圾数据: 1. 使用循环语句:在编程语言中编写循环语句,通过断重复插入随机生成的垃圾数据来实现。可以使用随机数生成器生成随机值,以便填充表中的各个字段。 2. 使用批量插入语句:在编程语言中编写批量插入语句,通过一次性插入多条垃圾数据来实现。可以使用数据生成器或者模拟器生成符合需求的垃圾数据集,然后将数据集一次性插入到数据库表中。 需要注意的是,在进行上述操作之前,应该先备份数据库,以防止意外情况发生。此外,添加大批量垃圾数据后,如果再需要,应及时清理数据,以保持数据库的健康运行。 ### 回答3: 对于数据库中某个表添加大批量垃圾数据的需求,可以采用以下方式: 1. 使用循环生成随机数据:可以使用编程语言的循环结构,在每次循环中随机生成一条符合表结构的随机数据,然后插入数据库表。可以使用随机函数来生成同的字符串、数字、日期等类型的数据。 2. 复制现有数据:如果数据库表中已经存在一些真实数据,可以通过复制现有数据的方式生成大批量的垃圾数据。可以使用数据库的INSERT INTO SELECT语句,从现有数据表中选择一些随机行,并插入到同一表中,可以通过控制复制数量和选择方式来达到添加垃圾数据的目的。 3. 使用数据生成工具:有些工具可以帮助生成海量的测试数据,可以通过配置相应的参数来生成符合表结构的大批量随机数据,并直接插入到数据库中。这些工具可以根据同的需求生成同类型、同数量的垃圾数据。 需要注意的是,在进行大批量垃圾数据添加时,要确保所生成的数据影响到现有的正常数据。可以在测试环境或者特定的临时表中进行测试和验证,避免对正式环境产生必要的影响。 另外,要根据实际情况,在完成测试或者其他目的后及时清理这些垃圾数据,避免对数据库的正常运行造成必要的负担。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值