复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

Python+MySQL抖音数据分析实战:从数据获取到可视化报告完整项目 数据分析作为从海量信息中提取商业洞察的核心技术,其基础流程通常遵循数据获取、清洗、存储、分析与可视化的闭环。Python凭借Pandas、NumPy等库成为数据处理的主流工具,而MySQL等关系型数据库则为结构化存储与高效查询提供了支撑。在工程实践中,掌握SQL与Python的协同工作流能显著提升分析效率与可复现性。本项目以短视频平台为典型应用场景,通过模拟用户、视频及互动数据,构建了一个涵盖多表关联查询、用户画像分析、时段活跃度挖掘的完整分析案例。项目重点演示了如何利用热词“Pandas数据清洗”处理原始 阅读详情


从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负责的模块connector就派上了用场。在楼主的努力下,线上数据同步代码经历了从最初的将近16个小时(并且还出现其他问题这些问题,等后面慢慢细说),到最终25分钟的性能优化。

贴个广告

楼主的博客已全部搬迁至自己的博客,感兴趣的小伙伴请移步haifeiWu与他朋友们的博客专栏

代码直接Jenkins打包上线

楼主负责的connector模块之前经历过的最大的数据量也仅仅是几千条,当然面对几千条数据代码也是跑的及其的快,没有啥影响,然而当第一次在顺丰的正式环境上线时,由于数据量比较大,楼主的代码又是串行执行的,事务保持的时间就相当长,也就因此出现了下面的错误信息:

Lock wait timeout exceeded; try restarting transaction

这里来说一下报这个错的解决方案,查看MySQL是否有锁

show OPEN TABLES where In_use > 0;

另外,在information_schema下面有三张表:INNODB_TRX、INNODB_LOCKS、INNODB_LOCK_WAITS(解决问题方法),通过这三张表,可以更简单地监控当前的事务并分析可能存在的问题。

比较常用的列:

  • trx_id: InnoDB存储引擎内部唯一的事物ID
  • trx_status: 当前事务的状态
  • trx_status: 事务的开始时间
  • trx_requested_lock_id: 等待事务的锁ID
  • trx_wait_started: 事务等待的开始时间
  • trx_weight: 事务的权重,反应一个事务修改和锁定的行数,当发现死锁需要回滚时,权重越小的值被回滚
  • trx_mysql_thread_id: MySQL中的进程ID,与show processlist中的ID值相对应
  • trx_query: 事务运行的SQL语句

kill 进程ID,发生上面错误的根本原因在业务逻辑代码对数据库的操作无视了大数据量的情况,比如当数据量比较大时就会出现刚刚修改完这条记录,接着再次修改就会出现上述出现的问题。

代码优化过程

使用线程池,并发执行,提高效率

由于数据量比较大,首先想到的方法是拿到数据后将数据分拆成n份,由多个线程并发执行数导入的操作。由此引出多线程的问题,在处理多线程问题时共享的数据结构像Map,List应该采用jdk提供的current包下的数据结构,另外在涉及到操作数据库的地方应该加锁,楼主用的是jdk提供的ReentrantLock。使用jdk自带的 jvisualvm,进行代码的监控进而找到最佳线程数,下面是监控的数据,
  jvisualvm-monitor
  jvisualvm-thread

下面是线程池的创建代码

ThreadFactory namedThreadFactory = new ThreadFactoryBuilder()
                .setNameFormat("demo-pool-%d").build();
ExecutorService singleThreadPool = new ThreadPoolExecutor(1, 1,0L, TimeUnit.MILLISECONDS,
                new LinkedBlockingQueue<Runnable>(1024), namedThreadFactory, new ThreadPoolExecutor.AbortPolicy());

singleThreadPool.execute(()-> System.out.println(Thread.currentThread().getName()));
singleThreadPool.shutdown();

果不其然,在使用多线程之后,数据插入效率由原来的十几个小时降到了三个小时,然后并没有达到我们的预期效果,我们继续。

使用druid监控发现问题的SQL
  • 配置druid监控,在应用的web.xml添加配置,并放开/druid的拦截
<!-- druid 数据库监控 -->
    <filter>
        <filter-name>DruidWebStatFilter</filter-name>
        <filter-class>com.alibaba.druid.support.http.WebStatFilter</filter-class>
        <init-param>
            <param-name>exclusions</param-name>
            <param-value>*.js,*.gif,*.jpg,*.png,*.css,*.ico,*.jsp,/druid/*,/download/*</param-value>
        </init-param>
        <init-param>
            <param-name>sessionStatMaxCount</param-name>
            <param-value>2000</param-value>
        </init-param>
        <init-param>
            <param-name>sessionStatEnable</param-name>
            <param-value>true</param-value>
        </init-param>
        <init-param>
            <param-name>principalSessionName</param-name>
            <param-value>session_user_key</param-value>
        </init-param>
        <init-param>
            <param-name>profileEnable</param-name>
            <param-value>true</param-value>
        </init-param>
    </filter>
    <filter-mapping>
        <filter-name>DruidWebStatFilter</filter-name>
        <url-pattern>/*</url-pattern>
    </filter-mapping>

    <servlet>
        <servlet-name>DruidStatView</servlet-name>
        <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
        <!--<init-param>
          <param-name>allow</param-name>
          <param-value>*.*.*.*</param-value>
        </init-param>-->
        <init-param>
            <!-- 允许清空统计数据 -->
            <param-name>resetEnable</param-name>
            <param-value>true</param-value>
        </init-param>
        <init-param>
            <!-- 用户名 -->
            <param-name>loginUsername</param-name>
            <param-value>druid</param-value>
        </init-param>
        <init-param>
            <!-- 密码 -->
            <param-name>loginPassword</param-name>
            <param-value>druid</param-value>
        </init-param>
    </servlet>
    <servlet-mapping>
        <servlet-name>DruidStatView</servlet-name>
        <url-pattern>/druid/*</url-pattern>
    </servlet-mapping>
  • 配置数据库连接池
<!-- 数据源配置, 使用 BoneCP 数据库连接池 -->
    <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
        <!-- 数据源驱动类可不写,Druid默认会自动根据URL识别DriverClass -->
        <property name="driverClassName" value="${jdbc.driver}" />

        <!-- 基本属性 url、user、password -->
        <property name="url" value="${jdbc.url}" />
        <property name="username" value="${jdbc.username}" />
        <property name="password" value="${jdbc.password}" />

        <!-- 配置初始化大小、最小、最大 -->
        <property name="initialSize" value="${jdbc.pool.init}" />
        <property name="minIdle" value="${jdbc.pool.minIdle}" />
        <property name="maxActive" value="${jdbc.pool.maxActive}" />

        <!-- 配置获取连接等待超时的时间 -->
        <property name="maxWait" value="60000" />

        <!-- 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒 -->
        <property name="timeBetweenEvictionRunsMillis" value="60000" />

        <!-- 配置一个连接在池中最小生存的时间,单位是毫秒 -->
        <property name="minEvictableIdleTimeMillis" value="300000" />

        <property name="validationQuery" value="${jdbc.testSql}" />
        <property name="testWhileIdle" value="true" />
        <property name="testOnBorrow" value="true" />
        <property name="testOnReturn" value="false" />

        <!-- 配置监控统计拦截的filters -->
        <property name="filters" value="stat" />
    </bean>
  • 访问http://ip/xxx/druid,输入用户名,密码登录就会看到下面的图

    druid

  • 使用druid的SQL监控发现问题SQL语句,优化SQL

通过命令查看程序的gc情况

通过命令jstat -gc pid 来查看程序的gc情况,下面是楼主程序数据同步完成之后的gc情况
gc
简单说明:

这里写代码片S0C、S1C、S0U、S1U:Survivor 0/1区容量(Capacity)和使用量(Used)
EC、EU:Eden区容量和使用量
OC、OU:年老代容量和使用量
PC、PU:永久代容量和使用量
YGC、YGT:年轻代GC次数和GC耗时
FGC、FGCT:Full GC次数和Full GC耗时

小结

通过上面的优化过程,楼主的connector的数据同居效率也由小时级下降到了分钟级,同步30+万的时间可以在25分钟内完成。经此一役,楼主算是收获满满。抱着虔诚的心态学习,不浮不躁,快乐成长。

参考文章

先进封装基础知识 想象一下,芯片就像是电脑或手机的大脑,但它非常脆弱,需要被保护起来。芯片封装就是给芯片穿上一件“保护衣”,这件“保护衣”不仅可以保护芯片,还能帮助芯片与外部世界进行沟通。 阅读详情

相关推荐

5分钟搞定!用FunASR在本地快速部署达摩院Paraformer语音识别模型

本文提供了一份快速部署指南,教你如何在5分钟内利用FunASR工具包在本地电脑上启动达摩院Paraformer语音识别模型。Paraformer作为一款非自回归端到端模型,以其推理速度快、识别精度高的特点,结合FunASR的一键式模型加载和统一API,让开发者能轻松构建本地语音识别系统,极大降低了前沿AI技术的应用门槛。

q9w8e7r6t5的博客 608

20w条数据MySQL速度_有20万条数据,使用mysql数据库,insert与update哪个速度快;

展开全部insert会更快一点,可以使用 INSERT INTO SELECT FROM < source_table> 高效地将大量行从一个表(例如临时表)。传输到按62616964757a686964616fe4b893e5b19e31333431363637最小方式记录日志的其他表中。按最小方式记录日志可以提高语句的性能,减少在事务期间此操作填充可用事务日志空间的可能性。IN...

weixin_31155097的博客 1974

Windows系统离线搭建PyTorch深度学习环境全攻略(CUDA+cudnn实战)

本文提供了一份在Windows系统下离线搭建PyTorch深度学习环境的完整实战指南。文章详细讲解了如何在没有网络连接的情况下,正确安装和配置CUDA、cudnn以及PyTorch,并构建独立的Python虚拟环境。重点强调了版本依赖关系的重要性,并提供了从驱动准备到环境验证的每一步操作,旨在帮助用户高效、稳定地部署可复用的GPU深度学习开发环境。

table的专栏 583

mysql insert into select大量数据插入比较慢_MySQL 管理MySQL、事务

干货:命令行程序mysql实际上是MySQL客户端,真正的MySQL服务器程序是mysqld,在后台运行.数据库事务具有ACID特性,用来保证多条SQL的全部执行。五、MySQL通过mysql命令行登录MySQL Client的可执行程序是mysql,MySQL Server的可执行程序是mysqld。MySQL Client和MySQL Server的关系如下:在MySQL Client中输入的...

weixin_39676972的博客 1921

Python实战:双色球历史数据爬取与可视化分析(附完整代码)

本文提供了一个完整的Python实战项目,教你如何利用requests库爬取双色球历史开奖数据,并使用pandas进行数据清洗与分析,最后通过matplotlib实现数据可视化。项目涵盖了从网络请求、数据处理到图表生成的全流程,是学习Python爬虫与数据分析的绝佳案例。

weixin_29091837的博客 673

从零搭建《火影忍者》手游服务端:Linux环境部署与全流程实战

游戏服务器后端开发是构建大型多人在线体验的核心技术,其原理涉及高并发网络通信、分布式系统架构与数据一致性保障。在技术价值上,一套稳定高效的服务端不仅能支撑海量玩家实时交互,更是游戏业务逻辑、经济系统和安全防线的基石。典型的应用场景包括MMORPG、回合制卡牌、SLG等中重度手游。本文以《火影忍者》IP的横版卡牌回合制手游为例,聚焦于**手工服务端**的完整搭建过程,详细拆解从Linux系统初始化、MySQL与**Redis**缓存部署、核心服务编译、到代理后台联调的全链路实践,为开发者深入理解游戏后端架构提

weixin_30800615的博客 349

一文教会你如何写复杂业务代码

作者 | 张建飞 阿里巴巴高级技术专家 了解我的人都知道,我一直在致力于应用架构和代码复杂度的治理。 这两天在看零售通商品域的代码。面对零售通如此复杂的业务场景,如何在架构和代码层面进行应对,是一个新课题。针对该命题,我进行了比较细致的思考和研究。结合实际的业务场景,我沉淀了一套“如何写复杂业务代码”的方法论,在此分享给大家。 我相信,同样的方法论可以复制到大部分复杂业务场景。 一个复杂业务的处理过程 业务背景 简单的介绍下业务背景,零售通是给线下小店供货的 B2B 模式,我们希望通过数字化重.

很多时候犯错都是在不知情的情况下发生的 1297

基于Simulink的电动汽车电池管理系统热管理优化仿真

电动汽车电池管理系统(Battery Management System, BMS)中的热管理是确保电池性能、安全性和寿命的关键环节。温度过高或过低都会显著影响电池的工作效率和寿命,因此需要对电池组进行精确的热管理。基于MATLAB/Simulink的仿真平台可以用于建模和优化电池热管理系统,包括热分布预测、冷却策略设计以及热平衡控制等。本项目旨在构建一个完整的电动汽车电池热管理优化仿真模型,并通过仿真验证系统的性能。

xiaoheshang_123的博客 463

Mysql插入百万条数据记录

场景:测试百万条数据条件下,前端查询效率是否满足性能需求。 准备条件:通过mysql语法可知,使用insert into table(col1,col2,col3) values (value1,value2,value3),(value1,value2,value3);可以一次性批量插入多条数据,利用此特性,我们可以通过python脚本拼接sql语句,实现一次输入多条数据,此处1百万条数据我分为10次插入,每次拼接10万条数据,脚本包含三部分:数据库连接,insert语句拼接及脚本执行,代码如下:

qq_39149099的博客 1623

2025华为od机试真题B卷【字符串计数匹配】Java&Go 实现

给你一个字符串str和整数k,返回满足以下条件的所有子字符串个数: 1.恰好包含k个字母。 2.数字0-9各出现至少一次。

MISAYAONE的博客 643

CListCtrl控件的自绘操作

1、CListCtrl控件 :OwnerDraw Fixed = True,创建一个CListCtrl类的派生类CMyListCtrl,同时创建一个CMyListCtrl控件类型变量:CMyListCtrl m_cList;。 CListCtrl控件的自绘主要是CMyListCtrl类中重写DrawItem虚函数。 流程: 1.主对话框中CListCtrl的一些初始化操作: BOOL

小米的修行之路 3560

从零到上亿用户,我是如何一步步优化MySQL数据库的?(建议收藏)

冰河亲历的亿级流量下的MySQL优化实战,强烈建议收藏!!

冰河的专栏 4万+

华为OD机试双机位C卷-AI面板识别(Py/Java/C/C++/Js/Go)

华为OD机试双机位C卷 AI面板识别,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解以及在线OJ模拟做题。华为OD机试 - AI面板识别。

qq_45776114的博客 1343

如何优化kafka和mysql处理百万级消息计算和落库

3.第二层子线程处理分为两种情况,不处理事务一致,insert语句执行时,事务直接提交了,这个比较简单.如果处理多线程事务一致,事务在主线程中一起提交,需要在子线程中新建事务,拷贝主线程事务到子线程,返回主线程zi子事务对象,在主线程中遍历事务,一起commit或者rollback.模拟两阶段提交,类似分布式事务,只是在主线程中统一控制事务状态.主线程根据总数据量,线程数计算提交到每个子线程的数据量.4.cpu密集计算型.模型端接收kafka消息处理时,使用线程池处理,核心线程数改为cpu核数的至少2倍.

研究源码的最底层,只持有正确的仓位 968

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

getprivateprofilestring读不到数据_从零到千万用户,我是如何一步步优化MySQL数据库的?...

写在前面 很多小伙伴留言说让我写一些工作过程中的真实案例,写些啥呢?想来想去,写一篇我在以前公司从零开始到用户超千万的数据库架构升级演变的过程吧。本文记录了我之前初到一家创业公司,从零开始到用户超千万,系统压力暴增的情况下是如何一步步优化MySQL数据库的,以及数据库架构升级的演变过程。升级的过程极具技术挑战性,也从中收获不少。希望能够为小伙伴们带来实质性的帮助。业务背景 我之前呆过一家...

weixin_39998998的博客 123

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

mysql 加一天_零开始到用户超千万,系统压力暴增的情况下是如何一步步优化MySQL...

写在前面很多小伙伴留言说让我写一些工作过程中的真实案例,写些啥呢?想来想去,写一篇我在以前公司从零开始到用户超千万的数据库架构升级演变的过程吧。本文记录了我之前初到一家创业公司,从零开始到用户超千万,系统压力暴增的情况下是如何一步步优化MySQL数据库的,以及数据库架构升级的演变过程。升级的过程极具技术挑战性,也从中收获不少。希望能够为小伙伴们带来实质性的帮助。业务背景我之前呆过一家创业工作,是做...

weixin_39993322的博客 92

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

美团面试官:讲清楚MySQL结构体系,立马发offer

我们来聊聊MySQL的架构体系,尽管咱们是Java开发人员,但是在日常开发过程中也会经常和MySQL数据库打交道。如果公司有DBA能干点事还稍微好点,如果是没有DBA或者DBA没什么卵用的...

HollisChuang's Blog 608

功能多不等于系统慢:架构与代码优化如何保障高性能

在软件工程中,系统性能是衡量应用质量的核心指标之一,它直接影响用户体验和业务扩展能力。性能优化的原理在于通过合理的资源分配、高效的算法设计以及减少不必要的计算和I/O开销,来提升系统的吞吐量和响应速度。其技术价值在于能够支撑更复杂的业务场景、更高的并发访问,并降低基础设施成本。在实际应用场景中,无论是电商秒杀、实时推荐还是企业级SaaS平台,性能优化都是确保服务稳定可靠的关键。本文聚焦于数据库压力剧增和缓存策略优化这两个常见的热点问题,探讨在功能不断丰富的背景下,如何通过系统性的架构设计与代码实践,打破“功

weixin_34259232的博客 331

MySQL索引原理及慢查询优化

MySQL凭借着出色的性能、低廉的成本、丰富的资源,已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色,但所谓“好马配好鞍”,如何能够更好的使用它,已经成为开发工程师的必修课,我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道一般的应用系统,读写比例在10:1左右,而且插入操作和一般的更新操作很少出现性能问题,遇到...

weixin_33711647的博客 101

mysql架构演进

转载:http://muxx.me/2017/12/03/mysql%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/最初的技术选型作为创业公司,最重要的一点是敏捷,快速实现产品,对外提供服务,于是我们选择了公有云服务,保证快速实施和可扩展性,节省了自建机房等时间。在技术选型上,为快速的响应业务需求,业务系统使用python做为开发语言,数据库使用My...

weixin_34007886的博客 350

斗智斗勇之mysql

mysql

welcome to 一点点 home 1096

VC++与Access图书管理系统开发实战:从数据库设计到MFC界面实现

数据库操作是软件开发的核心基础,其原理在于通过结构化查询语言(SQL)对数据进行增删改查,确保数据的一致性与完整性。这项技术的价值在于为各类应用系统提供了可靠的数据存储与管理能力,广泛应用于从桌面软件到企业级系统的众多场景。在桌面应用开发领域,经典的“客户端+本地数据库”架构,如使用VC++的MFC框架配合Access数据库,是实现快速原型开发与深入理解底层逻辑的有效途径。本文以图书管理系统为例,详细解析了如何利用ADO技术进行数据库连接与操作,并通过MFC构建图形用户界面,涵盖了从表结构设计、SQL执行到

axfcjwkbi259888707的博客 292
上一篇: 自建脚手架之配置中心--LightConf的实现
下一篇: 死磕Java之聊聊ArrayList源码(基于JDK1.8)
whfstudio
博客等级 码龄10年 12粉丝 46原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值