记录一次mysql处理百万数据

最新推荐文章于 2024-06-10 09:16:04 发布
原创 最新推荐文章于 2024-06-10 09:16:04 发布 · 417 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql #python

本文介绍了一项关于处理大量数据库记录的任务，通过Python进行数据抽取、整合并插入新表的过程。面对原有Python脚本效率不高的问题，文章分享了如何进行优化尝试，包括关闭binlog及调整MySQL配置等措施。

这一年996搞项目，一直没时间写，项目告一段落，抽空记录一下。

大概情况，一张400万的表，一张300万表，每张表20多个字段，2张表抽取数据，根据业务整合。插入新表。

临时被安排过来搞这个，原来想法使用存储过程处理，同事已经用python处理数据，效率太慢。奈何没接触过python，没办法，

开始修改同事的python。拿到代码，思路是使用多线程取数据，业务处理之后 塞回数据库，不过还是慢，整体下来要半个小时。

还没想好，后面有进展再更新吧

需要调整的数据库参数

1、关闭binlog
2、新增或修改MySQL安装目录下的my.ini文件中的[mysqld]段中的 max_allowed_packet = 1024M

MySQL百万数据优化总结 一
m0_67265464的博客
07-28 1667
为什么使用unionall因为union操作会对结果去重且排序，所以从速度来说，unionall会更胜一筹。
mysql百万数据 查总数都特别慢_mysql百万级数据分页查询缓慢优化方法
weixin_39598472的博客
02-06 3374
参考网址1：https://www.cnblogs.com/nightOfStreet/p/9647926.html -------------修改需求一、与产品商讨 修改需求后端工程师，在接到分页list需求的时候，内心是这样的画面是这样的代码大概是这样的select count(id) from … 查出总数select * from …. limit m,n ...
mysql处理百万级数据优化
03-26
处理百万级以上的数据查询提高效率的办法，处理百万级以上的数据查询提高效率的办法！！！
MySQL官网测试数据上百万条数据sql文件
12-08
MySQL官网测试数据，sql文件，导入即可执行，提示：文件较大，考虑时间问题自己看着办。我导出sql文件300万条数据将近2小时，不容易啊！给点支持吧。
mysql 百万级数据测试
07-28
使用命令行数据库将 employees.sql文件导入。 例如：mysql -uroot -proot -Dtest<employees.sql
mysql处理百万条数据库_如何处理百万条数据写入到数据库
weixin_39593460的博客
01-19 706
用 shell 将一千万行文件切分成 100 个文件,这样每个文件有10万行,具体做法可以 man split。写 php 脚本,脚本内容是读一个文件,然后输出有效的数据。注意数据格式，严格按照表中字段的顺序来写，字段之间用半角分号隔开，行之间用 \n 隔开。具体参数可配置，参见 MySQL 的 load data 命令参数。注意是 php cli 方式运行的，不要拿 Apache 或者 其他 w...
转 mysql处理百万级数据
netnetsk的专栏
03-10 308
1、应尽量避免在 where 子句中使用!=或&lt;&gt;操作符，否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num i...
记录一次mysql批量修改大量数据（存储过程）
ajax_yan的博客
11-26 1726
需求：数据库字段point存储经纬度：116,39，逗号隔开，现在要拆分开 分别存入lon lat 方式1：使用java 代码 全部读入内存-----split(",")-------setLon setLat ---------updateById 经过测试，11W数据，耗时3小时以上 方式2：使用mysql存储过程 -- 创建存储过程之前需判断该存储过程是否已存在，若存在则删除 DROP PROCEDURE IF EXISTS init_reportUrl; ...
MySQL高级技巧：批量插入百万级数据量
最新发布
master_chenchen的博客
06-10 2458
正确的操作方法不仅能大幅提高数据插入效率，还能有效保障数据的安全性和完整性。批量插入是数据库操作中的常见需求，掌握高效安全的批量插入技巧对于数据库管理员和开发者来说至关重要。即每次只插入一定数量的记录，然后提交事务，接着进行下一批的插入。批量插入是指在一次数据库操作中，插入多行数据的过程。相对于单条插入，批量插入可以减少数据库事务的次数，提高数据处理的效率。在执行批量插入操作时，应密切监控系统的CPU、内存以及磁盘IO等资源使用情况，确保操作不会引起系统过载。对于需要插入百万级别数据量的情况，推荐使用。
mysql 处理百万级数据总结
zfmsa--装疯卖傻
03-26 225
1.mysql快速插入百万级测试数据 [code="java"]insert into test select * from test;[/code]
【MYSQL】第一篇 Mysql如何处理百万级别的数据
m0_65984648的博客
03-17 258
建立唯一性索引
mysql使用
weixin_30635053的博客
12-10 102
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t wh...
mysql处理百万级别数据库_百万级别并发数据库mysql-MySQL如何处理数百万的数据连接...
weixin_28786293的博客
01-28 891
1、应该尽量避免在where子句中使用！ =或2、优化查询，尽可能避免全表扫描，并首先考虑对where和orderby中涉及的列进行索引。应尽量避免where子句中字段的空值判断，否则会导致引擎放弃索引并执行全表扫描，如：从t中选择id，其中num为NULL您可以在num上设置默认值0，以确保表中的num列没有空值，然后查询：mysql数据库隔离级别。从t中选择id，其中num=0尽量避免使用或在...
mysql百万数据处理_Itarvin - 如何优雅的而又快速的处理百万级MySQL数据
weixin_39565300的博客
02-28 387
很多时候，我们老大作为专业的前端。也会要求更为优雅的数据处理和优雅的代码。主要用于处理百万级数据交互使用。这段程序主要考虑不修改服务器配置，和考虑不造成服务器负荷过载。直接上代码吧。前端页面js代码：删除前一个月订单',$(".deletes").click(function(){varid=$(this).attr("id");if(isNaN(id)){varvalues="";varg...
从 MySQL 读取 100w 数据进行处理，应该怎么做？
qq_42003636的博客
03-09 1286
分库分表场景下，单个表的查询结果集虽然不大，但如果某个查询跨了多个库多个表，又要做结果集的合并、排序等动作，依然有可能撑爆内存；当查询百万级的数据的时候，还可以使用游标方式进行数据查询处理，不仅可以节省内存的消耗，而且还不需要一次性取出所有数据，可以进行逐条处理或逐条取出部分批量处理。如果没有流式查询，我们想要从数据库取 100w 条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。流式查询：内存会保持稳定，不会随着记录的增长而增长。
mysql一百万数据怎么分页,mysql百万条数据分页,该怎么处理
weixin_28876083的博客
03-17 164
当前位置:我的异常网» MySQL»mysql百万条数据分页,该怎么处理mysql百万条数据分页,该怎么处理www.myexceptions.net网友分享于：2013-10-22浏览：46次mysql百万条数据分页我的ecs_goods表中有300万数据我要进行分页explain SELECT goods_id, goods_name, goods_type, goods_sn, s...
面试官：从 MySQL 读取 100w 数据进行处理，应该怎么做？问倒一大遍！
Java技术栈，分享最主流的Java技术
03-02 1899
背景 大数据量操作的场景大致如下： 数据迁移 数据导出 批量处理数据 在实际工作中当指定查询数据过大时，我们一般使用分页查询的方式一页一页的将数据放到内存处理。但有些情况不需要分页的方式查询数据或分很大一页查询数据时，如果一下子将数据全部加载出来到内存中，很可能会发生OOM(内存溢出)；而且查询会很慢，因为框架耗费大量的时间和内存去把数据库查询的结果封装成我们想要的对象（实体类）。 举例：在业务系统需要从 MySQL 数据库里读取 100w 数据行进行处理，应该怎么做？ 做法通常如下： 常规查询： 一
mysql百万数据分页_mysql百万条数据分页,该怎么处理
weixin_27427397的博客
01-28 319
mysql百万条数据分页我的ecs_goods表中有300万数据我要进行分页explain SELECT goods_id, goods_name, goods_type, goods_sn, shop_price, is_on_sale, is_best, is_new, is_hot, sort_order, goods_number, integral, (promote_price &gt...
终于上线使用了：MySQL上面百万数据excel导出功能
资料免费分享，点击名片
09-20 1062
但它们都存在一个严重的问题就是：非常耗内存，POI有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。这样导出数据的功能，在第一个job周期内执行不完，在第二次job执行时，查询待处理状态，并不会查询出执行中状态的数据，也就是说不会重复执行。其实，在用户的操作界面，增加更多的查询条件，用户通过修改查询条件，多次导数据，可以实现将所有数据都导出的功能，这样可能更合理一些。
高效导入百万级数据至MySQL数据库策略
1. **分批导入**：一次性导入大量数据可能导致事务过大，增加导入失败的风险。分批导入可以减少失败的影响，并允许对每个批次进行监控和处理。 2. **停机时间最小化**：如果业务允许，可以在系统负载较低的时段进行...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值