程序员,请你不要在坑程序员了

机器视觉应用工程师职位深度解析与面试指南 广东奥普特科技招聘机器视觉应用工程师,要求大专以上理工科专业背景,熟悉C/C++或PLC编程,具备自动化设备调试经验。岗位职责包括视觉项目方案评估、系统安装调试、售后技术支持及异常处理,需接受外派出差。该职位面向专业对口的应届生或实习生,强调动手能力、沟通技巧和吃苦耐劳精神。机器视觉工程师需掌握图像处理算法、硬件配置等核心技术,在工业自动化领域具有良好发展前景。求职者应注重编程能力和实践经验的积累,以胜任这一技术密集型岗位。 阅读详情

大家好,hellohello-tom又来分享实战经验了。🤣

在一个风和日丽的下午,tom哥正在工位上打着瞌睡,突然QQ群运维同学@全部开发人员说线上绿线环境大面积开始瘫痪,zuul网关大量接口返回service unavailable,并且范围已经开始波及到红、蓝线,运维同学说发生事故的机器他们已经重启了,但是在一段短时间后还是会继续阻塞,运维主管紧急把此次事故定义为I级,全员备战,要求开发人员迅速解决问题。

项目经理拉上java组同学紧急开会,tom哥也不敢怠慢,拉上运维我们就一起开始进行事故分析,打开zabbix监控管理界面,查看各项服务器监控

随便查看一台网关,我的天这服务器连接数跟过山车一样忽上忽下的,这铁定是出问题了,赶快进行链路追踪,发现部分接口请求时间在20s,现在全线业务响应都极其的缓慢,运维同学报告说,通过这几次重启发现一个共性,就是每当redis网络带宽达到850m时会逐渐造成生产环境延时卡慢,最终造成服务不可用状态,初步定位可能是redis的问题,但redis的网络正常,CPU正常,slowlog也都在合理范围内现在只能期望我们java组同学看能否看出一丝端倪,tom哥一个踉跄,赶快挺直腰板,心想I级属于一级事故类型了,搞不好会被扣工资的,tom哥赶快打开跳板机,随便登录一台下游绿线服务器,查看java应用程序

jps -l

按照tom哥的习惯,打印出java程序的pid后首先会去观察各项内存指标、新生代老年代GC情况等

jstat -gcutil 11984 1000 10


非常健康,没有发生full gc,ygc也少的可怜,既然如此那就分析下是否有CPU高负载的情况

top -Hp 11984


线程信息也非常正常,没有某个线程CPU负载特别高的,接下来继续分析打印java应用程序线程堆栈,首先看看是不是有产生死锁的地方

jstack -m 11984


这个说明程序也没有产生死锁相关的问题,那接下来只能继续打印java线程堆栈具体干的事了。

jstack 11984


这时候发现一丝问题,线程堆栈中有大量的ClusterCommandExcutor与对应的TIMED_WAITING状态

jstack 11984 | grep ClusterCommandExecutor | wc -l

追踪堆栈源

终于发现大量的线程等待发起源头是在redisUtil的mget方法上,马上开始审查调用这块代码的源头,发现业务代码中主要业务有一个mapByUserIds,会传入一个用户集合,然后根据用户集合一次性会从redis获取用户的缓存信息,到这里感觉基本已经能确认问题了,由于最近公司用户量增加,在某些业务场景,发现会一次mget出10000个的用户信息,在这样大批量的数据操作肯定会造成redis挤压了,由于我们操作redis使用了jedisPool,如果一个连接请求大量的key时,可能就会造成连接池得不到释放,如果连接池内都被这样要获取大数据量的连接占满时,就可能会引起整个项目从redis获取数据时全面阻塞,等到连接之后才能继续操作redis,引起雪崩。

知道这个场景,那代码就好修改了,大概解决思路是这样的,在mget之前会进行一个拆分操作,把大key拆小,分多次从服务器请求回需要获取的用户信息

//100是测试后最理想的值
int count = Double.valueOf(Math.ceil(keys.size() / (double) 100)).intValue();
for (int i = 0; i < count; i++) {
      dataList.addAll(valueOperations.multiGet(keys.stream().skip(i * 100).limit(100).collect(Collectors.toList())));
}

就这么随意的解决了,但是感觉还是不太完美,如果1万个用户信息的key,那我是单线程执行可能就要执行100次,这样子也太慢了,加个并发处理吧

private ExecutorService executorService =  new ThreadPoolExecutor(4, 4,
        0L, TimeUnit.MILLISECONDS,
        new LinkedBlockingQueue<>(), new NamedThreadFactory("mget-redis-pool"));
        

int count = Double.valueOf(Math.ceil(keys.size() / (double) 100)).intValue();
List<future<list<string>&gt;&gt; future = new ArrayList&lt;&gt;();
for (int i = 0; i &lt; count; i++) {
    List<string> limitKeys = keys.stream().skip(i * 100).limit(100).collect(Collectors.toList());
    future.add(executorService.submit(() -&gt; dataList.addAll(valueOperations.multiGet(limitKeys))));
}
try {
    for (Future<list<string>&gt; f : future) {
        //这里要考虑dataList线程并发安全哦
        dataList.addAll(f.get());
    }
} catch (Exception exception) {
    logger.error("mget汇总结果集错误,ex=", exception);
}

线程池的数量可以按照连接池中的连接数控制,保持在一个合理范围设置一半就行,避免jedisPool内被打满,感觉这样子就已经完美解决问题,tom哥信心满满,提交测试,成功没问题,发包上线,运维同学开始紧急补丁发布。

就在tom哥以为这次问题就这样完美的解决时,运维同学又在群里发消息了,不行啊刚发的包,不到10分钟,又开始全面阻塞了,纳尼,什么情况,问题应该解决了呀,tom哥心中一惊,心想这不可能啊,急忙继续登录问题服务器排查问题

jstack 11984

这次mget的方法调用少了,但是redisUtils中各式各样的方法报错都出来了,有什么不能从连接池内获取连接的错误,有什么当前节点不能获取对应的redis key,要求让MOVED等等,错误五花八门,这是怎么回事呢,打印应用服务器与redis服务器连接情况

netstat -ano | grep 192.168.200.1


连接都处于建立成功状态,联系运维同学发现此时redis各项指标也都正常,看来问题还是出在java应用上了,没办法只能打印堆栈了

jmap -dump:format=b,file=b.dump 11984

经过漫长的等待,下载好dump文件使用Memory Analyzer进行内存对象分析,导入开始进行分析


Netty类相关的可以忽略,但是

354 instances of "org.springframework.data.redis.connection.RedisClusterNode", loaded by "org.apache.catalina.loader.ParallelWebappClassLoader @ 0x501d75708" occupy 92,792,376 (18.26%) bytes.
这是什么鬼,spring redis 中的RedisClusterNode这个对象内存难道存在内存泄漏的可能么?spring官方说,我可不背这个锅,分析下RedisClusterNode的堆栈引用吧,看到底什么东西在使用它

通过引用来看还是线程池中持有大量的对象,结合线程堆栈信息来看确实阻塞是发生在redis连接过程中,而spring redis 只是个壳,难道问题出现在客户端上么,继续追踪发现spring redis默认使用的是jedis客户端连接,jedis客户端版本2.9.0,google一把 jedis内存泄漏,滑一下子各式各样的错误信息提示出来了,官方也报了这个BUG,原来在高并发场景式,在释放连接时由于上一个连接没有来得及标记空,会导致连接池没有即时归还,从而导致连接泄漏。

#Bug1911

KAO,这样太坑了,官方说在2.10.2以上版本中修复了此问题,jedis这个玩意儿你同步IO低效率还有这样BUG,坑死程序员啊。不说了赶快换组件,升级一波jedis后测试没有问题上线,tom哥心想这下问题可算能解决了吧,可以休息一会了,这时候已经深夜了。在等待短暂发包之后,tom哥还是听到不幸的消息,运维同学说还是有问题,tom哥头疼的厉害,项目经理让大家先回去休息了,先靠着线上运维同学手动不停的切换先度过去。

第二天一大早tom哥就来到公司,当再次登录到java应用程序服务器时还是有和redis相关的大量TIMED_WAITING线程,tom哥已经开始怀疑阻塞是不是到底没有产生在redis呢,联系运维同学开始抓包吧,不行就从http、tcp都抓出来看看,具体分析下这期间到底卡在哪一步了,

//因为会跳网卡,所以我们需要捕获所有网卡的连接
tcpdump -i any -w allDump.cap

抓个2、3分钟就可以了,主要看慢查询相关的内容,下载到本地后导入wireShark,分析一个慢查询接口

进栈出栈将近7秒,这个查询肯定不正常了,然后开始具体分析这期间到底都干了什么。

在wireshark中输入过滤tcp,查看版本号35512-46536中相关的内容,在一个一个排查tcp状态的同时,终于发现有不正常的tcp

发现36830(应用服务端口)与7001(redis服务器端口) 产生大量的tcp包的传输,并且是redis服务器对应用服务器发起的PSH ACK行为,,按照length进行排序,问题暴漏出来,在短短的3分钟抓包内存在大量的报文传输,赶快去找源头


在上面的tcp请求的抓包中终于看到应用服务器去向redis获取了一个key,后续的返回包都是根据这个Get key命令进行的响应,赶快去redis查一下这到底是个什么玩意儿,执行get sys:app_device

我的天足足3.26s,把这个文本保存到本地2.3m,看来问题找到了,就是这个redis大key的问题,联系项目经理,原来这个大key 存放的是封禁的app设备号列表,现在数据已经达到10几万,并且java应用程序用的也有问题,把整个数据序列化成字符串,塞到一个string value结构里面,每次app在登录、注册时都会调用此接口,造成redis阻塞,调用频率非常频繁,并且string到本地后在序列化成对象循环判断当前app传的设备列表是否为冻结设备,这简直就是挖坑啊无语,难道你用hash不香么,查询复杂度也就O(1)而已。

紧急对这块逻辑代码进行优化,设置缓存优先数据库滞后的处理方式,修改了业务代码,重新上线,至此在排查这个问题终于解决了


连接数终于不像老婆的心情,一天一个样了,可算平稳了。这次问题真是前人挖坑导致的呀。

最后


作为过来人,小编是整理了很多进阶架构视频资料、面试文档以及PDF的学习资料,针对上面一套系统大纲小编也有对应的相关进阶架构视频资料,如’确定好自己未来的道路或者想学习提升自己技术栈、技术知识的小伙伴们可以点击这里来获取免费学习资料提升自己(全套面试文档、PDF、进阶架构视频)

 

Objective-C实现人工势场法(附完整源码) 阅读详情

相关推荐

离线路径规划服务Graphhopper

离线路径规划服务Graphhopper 本文主要探索使用Graphhopper搭建离线路径规划服务,需要掌握一定的JAVA基础环境配置的知识 文章目录离线路径规划服务Graphhopper前言一、Graphhopper是什么?二、使用步骤1.下载Graphhopper2.从OpenStreetMap下载路图数据3.安装Graphhopper所需环境4.修改配置5.启动Graphhopper总结 前言 在外网环境中可以使用百度、高德等第三方的sdk用以实现路径规划的功能,由于项目的需要,在离线环境中需要使

Sysdark的博客 7565

redis之批量操作 pipeline重写

目录 起因 redis批量操作 批量操作产生的问题 解决办法 2019年11月5日更新(使用pipeline改写调用redis) 2019年12月11日更新(pipeline调用产生的问题) 起因 最近在测试环境上发现了一个比较慢的链路调用,如下图所示: 该操作做了大量的hgetall,发现入参中的List参数高达2700个,导致这里操作redis...

dongying1751的博客 2283

网络变压器等效电路及网络变压器中间抽头作用详解

       华强盛电子导读:要详细了解网络变压器周边EMC管控及网络变压器BOB-SMITH电路的连接原理,首先我们对网络变压器的认识及其电路各参数影响都要有个简要的认识,本文,对非理想网络变压器等效电路做一个详细的分析,其中重点讨论一下网络变压器中间抽头的作用其影响                          网络变压器等效电路及                        ...

网络变压器专业资料 6007

Redis的使用(只用到字符串)

通过spring自带的类 StringRedisTemplate进行字符串的操作。 opsForValue()方法返回一个ValueOperations接口的实例(其实是DefaultValueOperations类对象),然后使用对应的API进行操作: 获取key对应的value,get(Object key) 获取key对应的value并重新赋值,getAndSet(K key,V newValue) 一系列自增方法,increment() 批量获取,multiGet( Collection&

qq_43890141的博客 226

SAP 物料账前期没有运行的解决方法

If you use the actual costing (material ledger), you must have completely closed all period-end closing operations in the actual costing for the penultimate period prior to the period shift. Use the '...

含笑饮砒霜死后更嚣张 3320

告别第三方插件:官方Fused Library如何重塑Android库的合并与发布流程

本文详细介绍了Android官方推出的Fused Library如何替代第三方fat-aar插件,优化Android库的合并与发布流程。通过原生支持、智能依赖管理等优势,Fused Library解决了版本兼容性、依赖传递等核心痛点,提供了更稳定高效的开发体验。文章还提供了迁移实操指南和工程实践建议,帮助开发者顺利过渡到官方方案。

weixin_42561040的博客 259

程序员们,千万不要接私活

这个话题很纠结 现在社会,有很多人都在利用个人时间兼职赚钱,程序员俗称“接私活”,其他行业称作兼职,比如下了班出去跑滴滴,周末兼职抢单送外卖等等,都是普通人很常见的兼职方式。 甚至很多技术同行,我听说也有周末去跑滴滴和送外卖的,我觉得很不可思议,然而我的观点是如果你想成为成功人士,高收入人群那么你不应该去做兼职,不要把你宝贵的时间,浪费在兼职上。 简单经济学分析...

weberhuangxingbo的博客 1万+

中职网络安全2021年国赛Wireshark流量分析题目解析

中职网络安全Wireshark流量分析题目解析

FRANXX_02的博客 6445

程序员副业接单做私活避坑指南

这篇文章系统的分享了对接单做私活这件事情的思考,也给出一些干货建议。希望让大家少走一些弯路,不要被坑。

王中阳讲编程 2万+

Claude Code、Codex、Gemini CLI、OpenCode 和 OpenClaw 配置管理太麻烦?试试这个统一管理工具

还在为 Claude Code、Codex、Gemini CLI 等 AI CLI 配置烦恼?🤯 这款桌面工具支持五大助手统一管理,一键切换 50+ 服务商,MCP 和 Skills 集中管理 🛠️,跨平台支持,让你的 AI 编程更高效 ⚡

XiaoqiangClub的博客 918

点云最小二乘法拟合曲线

文章目录一、引言 一、引言

dayuhaitang1的博客 2736

请不要说自己是Java程序员

几年前 Reddit 上有个关于招聘的笑话: 面试官问:你用过 Python 或者 Django 吗? 答:我三周前去过动物园,这个算吗? 面试官:你被雇佣了。 一周后,这位应聘者用 Django 给他们的产品写了一个在线论坛。 英文的玩笑,用中文看有点不太容易懂。它的意思就是一个关...

chuifuhuo6864的博客 93

SCADA|KingSCADA通过组合框选择修改变量的值

《SCADA项目中组合框控件的使用方法》 本文详细介绍了SCADA系统中组合框(下拉框)控件的应用方法。通过具体示例演示如何实现:当选择"雷工笔记"时变量值为100,选择"雷工杂谈"时为200,选择"小李食代"时为300的功能。主要实现步骤包括:1)创建项目并添加组合框控件;2)设置Items选项及对应数值;3)创建内存变量;4)使用GetCurrentIndex()和GetItemData()方法;5)在选项变化事件中编写脚本。该控件在SCADA

做有价值的事,积累有价值的笔记! 869

程序员到底是干什么的?请不要再黑程序员了

文章转载于:乐字节 文章内容:程序员到底是干什么的?请不要再黑程序员了 程序员,一个传说中的高智商群体。 凭借其认死理、头发少、情商低和收入高四大绝活,入选当今网红职业No.1,当仁不让。 程序员也是在网上最活跃的群体,他们贡献了无数的话题和爆笑动图。 他们几乎都是钢铁直男,就算有女的那也是女汉子。 在相亲市场上,程序员是集收入高、工作稳定、聪明听话、成熟(头发少)等于一身的潜力股,成为结婚对象的优质选择。 在恋爱关系中,程序员又是集死板、反浪漫、情商低、沟通费劲等一系列让人恼火的技能,让他们的欠揍指数一

weixin_53374029的博客 1472

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

国产烂剧请不要靠近程序员

国产职业剧行行都有,今年,又成功嚯嚯了不少行业,从特种兵到电竞、消防、医生,一个都没少。 这次,终于轮到程序员了。 当然,结果还是一样:不要靠近,会变得不幸。 剧名就已经透露出一股不值得信赖的气息—— 《程序员那么可爱》 怎么不叫程序员那么秃头,程序员为何吐血?看来创作者并不是很懂程序员啊。 这是玩笑,程序员当然可以可爱,但这部剧的重点,显然没放在“程序员”三个字身上,至于可爱不可爱,观众一看剧就明白了。 我们经常吐槽国产职场剧恋爱戏份太多,对于这部剧,这样的吐槽是无意义的

m0_60720143的博客 393

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

请不要做浮躁的人!

============================== 请不要做浮躁的人!做程序员的推荐看这篇文章,很经典的~^o^==============================[转贴]请不要做浮躁的人! BBS 水木清华站,作者做了部分内容添加1.不要看到别人的回复第一句话就说:给个代码吧!你应该想想为什么。当你自己想 出来再参考别人的提示,你就知道自己和别人思路的差

教学 & 技术专栏 3899

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

请不要说自己是 Java 程序员

几年前 Reddit 上有个关于招聘的笑话: 面试官问:你用过 Python 或者 Django 吗? 答:我三周前去过动物园,这个算吗? 面试官:你被雇佣了。

Yunba.io 的博客 468

千万不要相信程序员在加班时间写的代码!

作为一个最底层的程序员,我先记录一些只有底层程序员才会知道的事情。如果多年后,我违背自己进入这个行业的初心,走上管理岗位,也能回想起一些禁忌,避免一些错误。 其中最重要的就是这条:不要相信一个程序员在加班时间写出来的代码。 (软件工程的学说表明,连正常时间好好写的代码,也不要太相信。不过这不是本文的重点,略过不提。) (不懂代码的人,看到本文中的Java代码可以略过,不影响理解。) 一、创造力的时...

秃头哥编程 3183

程序员们,请你们不要看低零代码

零代码平台到底有什么用呢?会不会让程序员“失业”呢?零代码平台明道云的创始人任向晖帮助解答了这个疑问:有一次,我(任向晖)向一位潜在的顾客演示了我们的零代码平台明道云,客户不同职能的人...

码农翻身 661

程序员太苦逼了,要不要转行?

为了帮助大家更好的学习网络安全,小编给大家准备了一份网络安全入门/进阶学习资料,里面的内容都是适合零基础小白的笔记和资料,不懂编程也能听懂、看懂,所有资料共282G,朋友们如果有需要全套网络安全入门+进阶学习资源包,可以点击免费领取(如遇扫码问题,可以在评论区留言领取哦)~😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓👉优快云大礼包🎁:全网最全《网络安全入门&进阶学习资源包》免费分享(安全链接,放心点击)👈。

Button12138的博客 863

当程序员老去,程序员又何去何从,请不要忘记那些改变世界的程序员们

摘要 程序员将代码注入生命去打造互联网的浪潮之巅,当有一天他们老了,会走向那里,会做些什么?表面光鲜的“程序猿”的真实生活的背面是不为人知的辛酸史,让我们一起去了解程序员这个职业吧! 当程序员老去 再也不相信年龄了 程序员将代码注入生命去打造互联网的浪潮之巅,当有一天他们老了,会走向那里,会做些什么? 很多年以后,在我60岁的那天早晨,天刚蒙蒙亮我就起床了,先去公园晨练,然后回来做早餐(50岁的时候我学会了做饭),送完外孙上学,刚好8点。由于北京从2020年开始单双月限行了,这个月是单月,所以只能挤地铁..

测试萌萌 524

程序员并不适合创业,请不要无脑崇拜!

【优快云编者按】创业,多么富有感染力的一个词。对于我们IT界的人来说,我们身怀绝技,我们吃苦耐劳,是不是就意味着我们有着比其他人更好的优势呢?下面我们就以这位程序员的视角来看一下程序员创业可能遇到的问题吧。 作者 |王晔倞 责编|maozz 我曾写过一篇名为 #我是技术男,也曾创业过,也拿过风投......# 的文章,内容主要是讲述我十年前一次创业失败的血泪史,其目的是为了告...

优快云资讯 2120

程序员们,请你们不要排斥零代码

文/明道云创始人任向晖 我们的业务进程中,不可避免地开始和开发者群体产生了一些冲突,更准确地说,是一些误会。对此,我们也有思想准备。 当然,可爱的程序员们往往都很含蓄,他们不会说——“零代码平台有什么鸟用?如果不写代码就能够开发软件,还要我们干吗?”。 他们不会说,但我们心里知道。当我们向一位潜在顾客演示明道云后,我几乎都能听到有几位程序员心里的想法。有时候,客户不同职能的人围绕是否要采纳零代码系统当面争执起来,我也有点尴尬。 有外部人士好心给我们建议将产品定位名称修改为“低代码”,而不要那么决绝地叫“零.

mingdaoyun的博客 988

在网上请不要惹一个程序员

在博客园看到的。。 背景:我是一名吊丝程序员,在小公司做事,平时做点私活,最近开了个淘宝店,月交易几千块钱而已,以调试、破解和出售网站模板类为主。 起因:4.2号来了一名顾客,要求为其提供的WEB程序开发一注册机,程序中含有病毒,几个浏览器下载后均自动删除,最后无耐用下载工具下载后,只留下了DLL,因为是.net的程序,反编译的过程非常容易,程序的加密分为两部分,对数据库连接字符串和授

分享技术,交流感悟 1万+
上一篇: linux(centos 7)下安装JDK,Tomcat,mysql 运行Maven 项目(最详细)
下一篇: Java并发:ThreadLocal的简单介绍
奇迹摘星w
博客等级 码龄6年 1844粉丝 189原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值