Kafka学习进阶(五)--记一次线上调优(max.request.size)和kafka线上解决思路

2019独角兽企业重金招聘Python工程师标准>>>

一、回顾kafka的知识点和问题陈述

        前面几篇kafka文章，介绍从搭建到优化。   

Kafka消息队列学习(一)--场景和搭建;

Kafka消息队列学习进阶(二)--项目实战;

Kafka消息队列学习进阶(三)--原理概念介绍篇;

Kafka消息队列学习进阶(四)--优化(配置/代码/集群);

        以上都是在test和uat环境进行测试和迁移数据的，最近迁移项目正式上线，但是上线当晚就出现严重的bug，现象是：

        1.一执行迁移程序，数据库连接就超时。

       2.kafka连接不上，同时查看error.log日志，kafka一直报数据大小超过kafka最大的发送size(kafka max.request.size)。也就是那天根本没有上线成功是失败的。那么我们是怎么处理的呢？

 

二、解决问题的思路--优化配置

        首先解决的是数据库连接不上的问题，一是检查数据库是否启动成功，检查完毕，启动成功。是启动程序导致的，并不是一开始就连接不上。继续排查，看info.log日志，看看程序执行到哪里，判断哪里在调用数据库，最后根据sql反查生产库，发现是这条语句查询的