
问题笔记
文章平均质量分 68
记录项目遇到的一些问题
JDIT
回头看之前的知识储备真是过时,短短几年,自从ODC不能使用优快云,小米账号无法登录。
这些年,我竟然使用了python,go,shell,lua,powershell,java,也玩转了cgo,掌握了图库,关系库,NOSQL库,kafka,redis,Gauss,clickhouse,同时也参与了vue开发。解决过欧拉,centos,ubuntu各种不兼容问题。最后看着一个人被裁员,因为学历或者年龄。原来我们被骗了,编程语言L4的都知识小工具,只有硬件技术,操作系统编程,C语言才是根基。我们游离于API层,无限内卷,今天spark,明天flink,今天go-ansible。
展开
-
一次JVM内存泄漏的简单记录
回到首页☞由于外包无外网权限,信息安全决定法律问题,所以详细内容不粘贴,只是记录大体流程。1、问题描述EC2反馈主机创建失败,定位发现前置机出了问题。基本链路是;ELB+openresty+tomcat(4)4个tomcat 分别部署在4个独立的VM上,堆内存设置为4G.2、问题定位2.1 top查看cpu 报表 300%~700%的跳动。2.2、tail catalina.out发现内存溢出2.3、kill 进程重启一分钟不到内存溢出2.4、jmap -histo pid查看原创 2020-06-01 20:18:27 · 362 阅读 · 0 评论 -
redis连接数爆掉
回到首页☞【问题描述】研发环境平稳运行,每天有几千vm创建,那关主机越来越多。当增加43W主机的时候出现了问题,部分请求失败,请求慢。【问题定位及处理】1、进入openresty OS 查看网络状态netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"t",state[key]}'LAST_ACK 5 (正在等待处理的请求数)SYN_RECV 30ESTABLISHED 12524(正常数据传输原创 2020-05-30 22:25:00 · 974 阅读 · 0 评论 -
to_days引发风险
回到首页☞自动化引擎量大核心:能力和安全。收到一个安全加固需求,每次执行引擎在创建任务的时候按照租户维度,进行阈值限制。SE要求在openApi上做拦截。个人怀疑可能会有问题,应用redis替代mysql聚合。核心sql如下:SELECT count( job_id ) FROM t_order_detail t WHERE TO_DAYS( t.create_date )...原创 2020-05-07 21:32:33 · 231 阅读 · 0 评论 -
从0到1的运维自动化平台
回到首页☞企业以前的核心资源可能是生产制造,盈利模式,而今可能是数据。现在对于一个集团不能数据化的业务可能没必要做了,不能上云的系统也没必要留了。随着企业的扩大,数据的闭环入湖,系统的自动化运维很重要。记录下自动化运维平台从0到1的大概流程,因为信息安全不展示架构图,只记录心路历程。1、自动化平台缘起一个企业在状态,一个跨国集团在发展,BU增加,背后软助力就是N多的IT系统。HR,IO...原创 2020-05-06 20:56:28 · 540 阅读 · 0 评论 -
锁表问题
回到首页☞又一次紧急临时变更引发的重大问题,原目标是为了让即将到来的版本火车大量自动化任务快速执行,现场开发,现场上线,当天死掉。1、问题描述线上环境出现人工步骤,人工点击某个操作按钮卡死,最后系统越来越慢,大量变更单失败,后台系统卡死。2、问题分析这个是在事后做的,因为只有领导有远程办公权限,临时处理方案已出错数据通过后台修改数据,让流程继续执行。然后通过重启应用释放锁。问题现象及...原创 2020-05-04 20:34:01 · 286 阅读 · 0 评论 -
二级事故与软连接
回到首页☞原则上是开发规范的问题,但是领导说了算,根本原因是缺少软连接。1、问题描述跳板机OS tmp目录打满了,导致用户变更单无法执行,二级事故。2、原因分析外协无权限动正式服务器,SE做了跳板机扩充,为了减轻自动化压力,SE申请了10台左右的服务器,tmp目录30G左右。引发如下两个问题:相关业务配置遗漏,导致部分变更单报错找不到跳板机。版本火车,自动化任务较多,导致后续变更失...原创 2020-05-04 20:17:24 · 156 阅读 · 0 评论 -
反演-项目问题记录
奇葩的中文乱码问题锁表问题二级事故与软连接to_days引发风险一次JVM内存泄漏的简单记录redis连接数爆掉原创 2020-05-04 19:57:11 · 243 阅读 · 0 评论 -
奇葩的中文乱码问题
回到首页☞1、问题描述也许系统展示业务日志的时候,只要一个工程,也只在生产环境是乱码的。通过utf-8转码无效。系统是jalor5工程,采用传统的tomcat 实例部署在linux 虚拟机上。日志是通过执行引擎接口在MongoDB中获取,AES加密后通过jar解密,获取日志的工程有多处,只有一个工程有问题。2、问题排查本地运行怎么都重现不了,代码完全一致。检查Tomcat配置,都是...原创 2020-05-04 19:40:52 · 315 阅读 · 0 评论