jike11231的博客

运维同事收到了生产环境的一条慢SQL告警，执行时间达到了10+秒，分析了业务场景，属于正常查询业务，而且SQL语句是上个版本新增的需求，于是在慧眼上，将SQL链路截图发给了开发进行修复。

查询服务器日志，代码中有分页执行的日志，但是在第5页和第6页后，再也没有正常结束的日志记录，代表执行完第6页之后，服务器就不可用了。4：继续查看MAT工具，发现使用了PerpetualCache，单后存储到HashMap中，这是一级缓存操作类，sqlSession会话级缓存，也称为本地缓存。分析定时任务运行代码，通过数据库分页处理数据，初步分析可能是每次从数据库获取7.5万条数据，一次性加载到服务器内存，导致内存溢出。2：使用jconsole工具，连接远程dev环境，查询JVM信息，堆内存峰值最大为4G。

业务上通过某任务id查询数据治理日志全部字段，其中待治理内容content字段超大。当某业务待治理的content数据存储较大时候，批量查询此数据，直接导致服务器内存利用率飙升，引发OOM问题，导致服务器自动重试重启。(1) 查询数据库的大字段（text、blob、binary等），分析大字段的使用场景，是否涉及大批量查询等。(2)查看大字段大小和查询列表的数据量，评估是否存在大批量数据单次读取。优化前：查询待治理内容content；优化后：查询待治理id和治理结果id。(3)mysql查询方法。

由于某业务需要回退某产品数据缓存列表Asset资源，主任务执行后，通过并行执行批量子任务进行数据回退，子任务中会记录缓存列表Asset和缓存列表行AssetLine数据，并行执行过程会出现缓存列表行AssetLine重复插入问题，导致后续业务执行变更资源时候报错。以前写过一篇也是利用无事务方式解决并发问题，主要是通过获取插入后的自增主键id，防止并发场景，再次查询一次，如果id一致，则代表插入成功，如果id不一致，则代表插入失败，删除这条旧数据。，本文通过另一种思路无事务解决并发插入数据库，数据重复问题。

堆内存配置 -Xms1500M-Xmx4800M-XX:MinHeapFreeRatio = 12 # GC策略 -XX:CMSInitiatingOccupancyFraction = 85 -XX:MaxTenuringThreshold = 10 -XX:+CMSParallelRemarkEnabled # 元空间 -XX:MetaspaceSize = 768M-XX:CompressClassSpaceSize = 512M # 线程栈 -Xss768K。

可以将t表新增1个冗余字段insert_month，直接将date_format(insert_date,‘%Y-%m’)结果保存到t表中，然后索引修改为index_test1_test2_test3_insert_month。虽然走了索引但是发现执行计划"Using index condition"，代表使用了索引下推来减少回表，于是需要减少回表，才能提升查询效率。where条件虽然命中索引，但是insert_date未命中，而且where查询条件做函数运算，严重影响查询效率。

项目中的需要查询第三方接口，但是接口不支持批量查询，为了满足页面3秒钟要求，提升查询效率，所以利用CompletableFuture实现。

假设你负责的系统，某个业务线的QPS突然暴增100倍，你会怎么应对？”需要从架构设计、资源调度、容灾兜底等多个维度拆解。

在sit环境中，测试批量上传500个网元进行批量激活，突然发现激活任务执行失败，而且系统其他功能接口响应缓慢，系统几乎卡死，服务器OOM。

生产检测到两台服务器内存仅剩50%，且CPU飙升到60%，产生告警。现网用户反映系统响应缓慢。

采用空间换时间方式，优化了大表关联查询性能，也是一种不错的方案。

某天下午，上游系统同一时间突然下了三个大合同数据，平均每个合同数据实例在6万以上的量级，短短几分钟内瞬间有20万左右的流量涌入系统。而在正常情况下，系统1天处理的流量也不过2千量级，当时数据库指标监控告警，数据库会话直线上升，CPU毛刺增多，达到了80%。

某版本需求，代码处理逻辑错误，导致配置新增服务范围扩大，造成消息成百倍增长，突增的消息通道部分拥堵。新增的服务会不断重试并重推消息，造成更严重的任务拥堵，无法及时消费，数据库压力增大，SQL执行变慢，导致核心业务受阻。

在某项业务中，需要在事务完成后，写入日志到某数据库中。需要要么都成功，要么都失败，而且需要异步实现。在不考虑分布式事务框架下，如何实现这个业务功能呢？可以利用事务钩子函数实现异步发送，保证同时成功和失败。注册事务钩子，在事务提交或回滚后执行。前提需要启动kafka_2.12-3.9.1内置的zookeeper和kafka。LogService注册钩子函数，异步发送。在kafka创建好topic。

Slf4j// 声明业务交换机@Bean// 声明死信交换机@Bean// 声明业务队列@Bean// 设置业务队列的死信交换机// 声明死信队列@Bean// 将业务队列绑定到业务交换机@Bean// 将死信队列绑定到死信交换机@Bean。

RabbitMQ提供了消息确认机制，即生产者在发送消息后，可以等待RabbitMQ服务器返回确认信息，以确保消息已经被正确地接收和处理。在发布消息时，可以设置消息的持久化标志，这样消息就会被写入磁盘中，而不是仅仅保存在内存中。可以通过设置重试次数和重试时间间隔来控制消息重试的行为。综上所述，RabbitMQ通过持久化、确认、事务和重试等机制来保证消息的可靠性，从而解决消息丢失的问题。可以看到由于接口中第1，4，5条消息会正常发送，所以在consumer已经进行了正常消费，并且针对第5条进行了业务重试。

最近在我们项目中，出现了数据库死锁问题，这里简单记录下分析和解决的过程。

由于项目中同一个网元，可能会被多个不同用户操作，而且操作大部分都是以异步子任务形式进行执行，这样就会带来并发写数据问题，本文通过利用无事务方式插入数据库解决并发插入问题，算是解决问题的一种思路，算是抛砖引玉吧。

随着时间的积累，数据量越来越大，其中最大的一个表数据量达到了22亿，因此需要对这些临时表进行定时清理，节省数据库存储空间和提升查询效率。分批执行的最大时间不超过默认配置时间2h，若在2h内还没有执行完成，则终止删除，等下次调度时间再重新发起执行删除操作。(1)新建相同表结构的数据表，新表补充creation_date的索引，利用同步工具同步最新15天的数据到新表。需要保留最近15天的数据且数据量太大，不能直接delete，所以采用定时任务分批进行删除策略。每次删除的最大数量按照10000条进行限制。

某表数据量达到4000w，需要每天定时任务处理20w条。前2周内SQL执行无任何问题，非常快，效率比较高。随着处理完的数据量变大，处理完数据状态设置为1，SQL执行效率越来越差，已经达到了惊人的4.6秒。SQL如下：其中表A的expired_date是有索引的。

最近项目中需要对退网资源进行扣减，由于项目中并没有分布式锁也没有引入Seta等一系列原因，所以采用CAS乐观锁解决高并发资源扣业务问题。