mysql删除超大数据

最新推荐文章于 2024-10-16 10:01:53 发布
最新推荐文章于 2024-10-16 10:01:53 发布
阅读量785 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： php基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35091566/article/details/53897804
本文介绍了一种在InnoDB中删除大表部分数据时的优化方案，通过创建新表并复制所需数据来减少锁表时间，从而提高数据库操作效率。 
//SET GLOBAL event_scheduler = 1;
//SHOW VARIABLES LIKE 'event_scheduler';

删除达标上的多行数据时，innodb会超出lock table size的限制，最小化的减少锁表的时间的方案是：
1选择不需要删除的数据，并把它们存在一张相同结构的空表里
2重命名原始表，并给新表命名为原始表的原始表名
3删掉原始表
总结一下就是，当时删除大表的一部分数据时可以使用 见新表，拷贝数据，删除旧表，重命名的方法。
http://blog.youkuaiyun.com/u014175572/article/details/53141365

mysql删除数据库表数据的方式
舒一笑的博客
07-30 6229
需要注意的是，上述删除操作将会永久删除表中的数据，所以在执行删除操作前请务必确认没有误操作，或者备份数据以防意外情况发生。另外，请在执行以上操作时谨慎使用，确保你有足够的权限进行删除操作，并慎重考虑数据的重要性和安全性。TRUNCATE TABLE 语句会删除指定表中的所有数据，并重置自增主键（如果有）为初始值。DROP TABLE 语句会删除整个表，包括表的结构和数据。请谨慎使用，因为删除后无法恢复。在MySQL中，你可以使用以下几种方式删除数据库表中的数据。这将删除指定表中的所有数据，但保留表结构。
MySQL 高效批量删除海量数据策略解析
最新发布
天冬忘忧的博客
12-03 1496
在日常的数据库管理与运维工作中，面对海量数据的删除操作，如何做到高效、安全且不影响业务正常运转，是我们常常需要攻克的难题。今天，就结合实际遇到的几种典型场景，深入剖析在 MySQL 中应对不同量级、不同结构表数据删除的有效策略。
MYSQL大数据删除
huangyur的博客
06-06 5246
    由于公司需要删除一年前的数据。所以参考了部分资料，整理了删除部分大数据的较合理方法。    1选择不需要删除的数据，并把它们存在一张相同结构的空表里INSERT INTO t_copy SELECT * FROM t WHERE ... ; //把要删除大量数据的表中不需要删除的数据转存到另外一张表中2重命名原始表，并给新表命名为原始表的原始表名RENAME TABLE t TO t_ol...
使用MYSQL对千万级用户数据进行清理
weixin_45350827的博客
05-10 383
#查询数据确认已经完成导入 SELECT * FROM `data` SELECT count( * ) FROM `data` #查询缺失值 SELECT COUNT( userid ) userid, count( itemid ) itemid, count( behavior ) behavior, count( category ) category, count( date ) date FROM `data`
MySQL 快速删除大量数据（千万级别）的几种实践方案详解
01-19
笔者最近工作中遇见一个性能瓶颈问题，MySQL表，每天大概新增776万条记录，存储周期为7天，超过7天的数据需要在新增记录前老化。连续运行9天以后，删除一天的数据大概需要3个半小时（环境：128G, 32核，4T硬盘），而这是不能接受的。当然如果要整个表删除，毋庸置疑用 TRUNCATE TABLE就好。 最初的方案（因为未预料到删除会如此慢），代码如下（最简单和朴素的方法）: delete from table_name where cnt_date <= target_date 后经过研究，最终实现了飞一般(1秒左右)的速度删除770多万条数据，单张表总数据量在4600万上下，优化过程
sql-truncate,delete,drop删除表数据的区别
12-23 281
TRUNCATE TABLE 删除表中的所有行，而不记录单个行删除操作。语法 TRUNCATE TABLE name 参数 name 是要截断的表的名称或要删除其全部行的表的名称。注释 TRUNCATE TABLE 在功能上与不带 WHERE 子句的 DELETE 语句相同：二者均删除表中的全部行。但 TRUNCATE T...
大量删除mysql表数据
stay hungry ! stay foolish!
03-22 1206
背景：由于业务变化，mysql表没有多余的字段进行存储，需要改变表结构，然后遇到数据表的数据量比较大。 方法：为了不影响线上的业务，需要多次执行sql语句，并间隔进行休眠，例如： delete from test_table where id>=98293000 and id<98296000; select sleep(1); delete from test_table where id>=98296000 and id<98299000; select sleep(2);
MySQL删除大量数据
翱翔-蓝天
10-16 1709
分批删除和分段删除是删除大量数据时的关键技巧，可以防止数据库锁定、性能下降。使用事务可以保证数据删除的原子性，而关闭外键约束和定期优化表则可以提升删除和后续操作的效率。对于复杂的删除任务，可以考虑使用工具如进行安全删除。
Mysql删除几亿条数据表中的部分数据
zjy660358的专栏
08-17 1603
选择哪种方法取决于您的具体需求和资源。如果数据量非常大，建议先在一个较小的数据集上测试所选方法的性能，然后再应用到整个表。此外，在执行此类操作时，最好在业务低峰期进行，以减少对应用程序的影响。看来也没有更好的办法，还是这些老办法。
mysql 大量数据删除_Mysql删除大量数据
weixin_34996026的博客
02-27 267
mysql> help delete;Name: 'DELETE'Description:Syntax:Single-table syntax:DELETE [LOW_PRIORITY] [QUICK] [IGNORE] FROM tbl_name[WHERE where_condition][ORDER BY ...][LIMIT row_count]Multiple-table synt...
MYSQL 单表删除1000万数据
weixin_39252666的博客
01-05 2377
先用 select count(*) from 查询数量 再用 DELETE FROM 删除 （注意删除数据过大分批执行更快） 不要一次性的 DELETE FROM 去删除1000万条。会导致死锁，非常慢
mysql数据大量删除，较慢问题
qq_37570710的博客
06-30 1045
终极写法：我们可以换个思路，把要保留的数据insert 到临时表。然后使用这张临时表。一般写法：delete from table1 where XXX;需求：我有100W数据要删除30W数据，顺序不连续，根据where 条件删除。进阶写法：分批删除。每次删除1W条数据，减小事务的大小。
mysql千万级数据怎么删除_Python批量删除mysql中千万级大量数据
weixin_39835965的博客
02-02 267
场景描述线上mysql数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Python脚本批量删除...
【Mysql】如何删除百万条以上数据
UniverseLin的博客
05-16 9367
此处提供2中方法：TRUNCATE TABLE 和存储过程（批量删除），后续有新方法会补充。
Mysql千万级数据删除实操-企业案例
weixin_34355881的博客
11-07 278
　　 某天，在生产环节中，发现一个定时任务表，由于每次服务区查询这个表就会造成慢查询，给mysql服务器带来不少压力，经过分析，该表中绝对部分数据是垃圾数据 需要删除，约1050万行，由于缺乏处理大数据的额经验，开始直接使用delete搭配where条件进行清理，最后执行了1个小时也没有完成，后来经过跟查询，1000万条数据 的删除需要几十个小时甚至上百小时，果断放弃，采用了迂回策略。 三步...
mysql百万数据删除_【MySQL】删除大量数据的具体实现
weixin_28746207的博客
01-19 1719
ourmysql博客中提供了 《大表删除数据的思路》,对于大表依据主键删除的思路是必须的，删除几千万的数据还算是比较简单的，如果你的数据库中的表高达数百亿条记录 ，删除其中的几十亿，就需要考虑可用性的问题了。上述文中的 利用生成的文本方式有些不妥。我的方法是利用存储过程,游标，先根据条件获取要删除的主键，然后依据主键删除，考虑到删除50亿条记录耗费将近7天的时间(事后得出)，必须后台执行。使用py...
mysql 删除 亿级记录表_MySQL表上亿级数据量实现删除重复记录
weixin_42413624的博客
01-29 435
上周从数据采集部门拿到一批400份的json文件,每个文件里30w+的json对象,对象里有uid,对重复的uid,需要去重下.电脑配置4核8G废话不多说,直接上干货.1.创建表datatest5CREATE TABLE `datatest5` (`id` int(11) NOT NULL AUTO_INCREMENT,`val` varchar(16) DEFAULT NULL,PRIMARY ...
MySQL大批量删除数据
ke9484的博客
05-26 1586
1.删除大表的部分数据 一个表有1亿6000万的数据，有一个自增ID。最大值就是1亿6000万，需要删除大于250万以后的数据，有什么办法可以快速删除？ 看到MySQL文档有一种解决方案：http://dev.mysql.com/doc/refman/5.0/en/delete.html If you are deleting many rows from a large table, you may exceed the lock table size for an InnoD...
mysql删除大表（分区表）数据亿级数据，不会导致死机
hongyawx的专栏
07-25 305
innodb_buffer_pool_size=2G 保证2g的运行空间。windows版本需要修改 my.ini 并重启电脑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值