生产环境典型问题实录第二期

logback死锁导致程序被hang住 背景 出问题的系统是一个存储系统,系统有一个功能就是多线程下载hadoop上的文件;上层业务方使用的是python,而公司不提供python api下载hadoop上的文件,只提供java api下载;因此我们的系统就变成了上层用户通过python调用我们的python api,我们的python api通过py4j调起jvm操作java中的对象和方法;用户在下载文件通常是100多个进程,某天用户... 阅读详情

生产环境典型问题实录第二期

  • 往期回顾
    • 第一期 : https://mp.weixin.qq.com/s/Vm7-k2pbpdkw2ZWFzl0-Hg

案例六:方法体内部创建线程池

"pool-2494-thread-1" prio=10 tid=0x00007f885014c800 nid=0xc06d waiting on condition [0x00007f86d20fe000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000608e437c8> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2043)
	at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1068)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1130)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
	at java.lang.Thread.run(Thread.java:745)
   Locked ownable synchronizers:
	- None
  • 线程名称pool-2494-thread-1透露出来的信息是这已经是第2494个线程池,每个线程池里只有1个线程。
  • WAITING表示这个线程池的任务队列为空,所以阻塞在LinkedBlockingQueue.take方法上。
  • 线程池数量已经到2000多个,基本上可以说明这个线程池是在方法内部创建的;线程数量是1,大概率是调用的Executors.newSingleThreadExecutor; 阻塞在LinkedBlockingQueue.take上,说明这个线程池用完后没有关闭。
  • 总结:不建议在方法内部创建私有的线程池,这个等同于在方法内部创建线程,并发量高的时候,线程数会暴增,可能出现OOM:Unable to create new thread,而且大量的线程并不会带来性能的提高,相反由于上下文切换反而会带来性能损耗,就好比只有两个核酸检测人员(两核),你排成2000条队(2000个线程),并不能提高核酸检测效率,还会由于2000条队列的调度拖慢效率。

案例七:慎用反射

反射调用是一个较慢的操作,通过Class.forName进行反射调用时,会调用ClassLoader.loadClass,这是一个synchronized的方法,在并发量大时,会出现严重性能瓶颈。

    final Class<?> loadClass(Module module, String name) {
        synchronized (getClassLoadingLock(name)) {
            // First, check if the class has already been loaded
            Class<?> c = findLoadedClass(name);
            if (c == null) {
                c = findClass(module.getName(), name);
            }
            if (c != null && c.getModule() == module) {
                return c;
            } else {
                return null;
            }
        }
    }

我们常用的两个框架logback和hibernate也是反射的重度使用者。

  • logback在输出日志时如果要输出jar包名称,会调用PackageDataCalculation进行反射调用,建议关闭此特性。
    • 参考 https://jira.qos.ch/browse/LOGBACK-730
"qtp1747988071-86163" prio=10 tid=0x00007f8bd809d800 nid=0x193e7 waiting for monitor entry [0x00007f8b2bd7a000]
   java.lang.Thread.State: BLOCKED (on object monitor)
	at org.eclipse.jetty.webapp.WebAppClassLoader.loadClass(WebAppClassLoader.java:390)
	- waiting to lock <0x0000000731400000> (a org.eclipse.jetty.webapp.WebAppClassLoader)
	at org.eclipse.jetty.webapp.WebAppClassLoader.loadClass(WebAppClassLoader.java:383)
	at ch.qos.logback.classic.spi.PackagingDataCalculator.loadClass(PackagingDataCalculator.java:207)
  • 通过hibernate写hql时,hibernate需要大量使用反射来将数据库表、字段与PO、属性进行反射调用,在hibernate3.X版本中有严重性能问题,hibernate5.X做了优化。
    • 参考 https://hibernate.atlassian.net/browse/HHH-4959
"qtp1884473012-36570" prio=10 tid=0x00007ff7d8323000 nid=0x134a waiting for monitor entry [0x00007ff7275b2000]
   java.lang.Thread.State: BLOCKED (on object monitor)
	at org.eclipse.jetty.webapp.WebAppClassLoader.loadClass(WebAppClassLoader.java:390)
	- waiting to lock <0x00000007315a3620> (a org.eclipse.jetty.webapp.WebAppClassLoader)
	at org.eclipse.jetty.webapp.WebAppClassLoader.loadClass(WebAppClassLoader.java:383)
	at org.hibernate.util.ReflectHelper.classForName(ReflectHelper.java:95)
	at org.hibernate.impl.SessionFactoryImpl.getImplementors(SessionFactoryImpl.java:683)
	at org.hibernate.impl.SessionImpl.list(SessionImpl.java:1543)
	at org.hibernate.impl.CriteriaImpl.list(CriteriaImpl.java:283)
  • 总结 : 反射调用时在评估一下调用次数,超过一定量会引起系统锁竞争爆发,大量线程Block。

案例八:线程池需考虑任务队列大小和拒绝策略

在使用线程池时,会使用阻塞队列BlockingQueue做为其任务队列。

  • ArrayBlockingQueue必须设置其固定大小,有使用者误以为其capacity类似于ArrayList的initialCapacity,其实不然。ArrayBlockingQueue是固定大小的,不是像ArrayList会动态扩容。
  • BlockingQueue及其子类应该都是固定大小的,不排除有些自定义的BlockingQueue可以动态扩容。
  • BlockingQueue的容量大小(capacity)要考虑内存占用和任务的消费速度,既要避免内存占用过多导致OOM,也要考虑队列容量过小导致系统阻塞。
"qtp1975260912-1059" - Thread t@1059
   java.lang.Thread.State: WAITING
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for <4a3136f1> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.park(Unknown Source)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(Unknown Source)
	at java.util.concurrent.LinkedBlockingQueue.put(Unknown Source)
	at com.thunisoft.summer.component.ssoserver.asyn.LogRecordWriterImpl.writeLog(LogRecordWriterImpl.java:49)
  • 线程池的拒绝策略不要选择DiscardPolicy。DiscardPolicy不会更新Future的任务状态,导致后续调用Future.get会无限阻塞。
    • 推荐使用AbortPolicy或者给Future.get设置超时时间。
    • 参考 https://mp.weixin.qq.com/s/2VEGYqIHhlG7l-9CZUP9qg

案例九:读写锁,需考虑写锁的耗时

java提供了读写锁ReentrantReadWriteLock,读锁与读锁之间互相不阻塞,读锁与写锁、写锁与写锁之间阻塞,因此在使用写锁时要考虑写锁的阻塞耗时,尽量不要超过1秒,避免写锁阻塞时间过长,导致系统无响应。

Thread 102250: (state = BLOCKED)
 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
 - java.lang.Object.wait() @bci=2, line=485 (Compiled frame)
 - EDU.oswego.cs.dl.util.concurrent.WriterPreferenceReadWriteLock$ReaderLock.acquire() @bci=34 (Compiled frame)
 - com.thunisoft.summer.util.cache.AbstractCacheImpl.readLock() @bci=7, line=34 (Compiled frame)
 - com.thunisoft.summer.component.config.sysConfig.SysConfigCache$$EnhancerByCGLIB$$9bf9c44$$FastClassByCGLIB$$ec264ca4.invoke(int, java.lang.Object, java.lang.Object[]) @bci=723 (Compiled frame)

案例十:不要用System.out.println

System.out 用的是PrintStream,其println源码如下:

public void println(boolean x) {
    synchronized (this) {
        print(x);
        newLine();
    }
}

可以看到println为synchonzied方法,当并发较大或者往控制台输出信息过多时,其方法就阻塞住。

  • 总结
    • 不要显式调用System.out。注:sonar可以检查出来。
    • 使用logback时,生产环境不要使用ConsoleAppender,其内部就是System.out
    "qtp1349006843-290" - Thread t@290
       java.lang.Thread.State: BLOCKED
    	at java.io.PrintStream.write(PrintStream.java:429)
    	- waiting to lock <58526d71> (a XXX.server.module.log.TASPrintStream) owned by     "qtp1349006843-36" t@36
    	at XXX.server.module.log.TASPrintStream.write(TASPrintStream.java:55)
    	at java.io.FilterOutputStream.write(FilterOutputStream.java:80)
    	at ch.qos.logback.core.joran.spi.ConsoleTarget$1.write(ConsoleTarget.java:36)
    	at ch.qos.logback.core.encoder.LayoutWrappingEncoder.doEncode(LayoutWrappingEncoder.java:135)
    	at ch.qos.logback.core.OutputStreamAppender.writeOut(OutputStreamAppender.java:194)
    	at ch.qos.logback.core.OutputStreamAppender.subAppend(OutputStreamAppender.java:219)
    	at ch.qos.logback.core.OutputStreamAppender.append(OutputStreamAppender.java:103)
    	at ch.qos.logback.core.UnsynchronizedAppenderBase.doAppend(UnsynchronizedAppenderBase.java:88)
    	at ch.qos.logback.core.spi.AppenderAttachableImpl.appendLoopOnAppenders(AppenderAttachableImpl.java:48)
    
GitLab CI/CD实现数据科学项目生产就绪 CI/CD(持续集成与持续部署)是软件工程中保障代码质量与交付效率的核心实践,其核心原理在于通过自动化流水线将开发、测试、构建、部署等环节标准化、可重复化。在数据科学领域,CI/CD技术价值尤为突出——它弥合了模型研发与工程落地之间的‘最后一公里’断层,将Jupyter中的实验性代码转化为可监控、可回滚、可审计的生产服务。典型应用场景包括机器学习模型的自动训练验证、Docker镜像安全扫描、Kubernetes灰度发布及特征漂移告警。本文聚焦GitLab CI/CD Pipeline在数据科学项目中的深度落 阅读详情

相关推荐

Claude-Opus-4.7生产级API实测:性能、精度与成本的硬核验证

大语言模型API调用不是黑盒调参,而是需量化验证的工程实践。理解模型在真实流量下的响应延迟、上下文保持能力、术语理解精度等核心指标,是保障AI系统稳定交付的前提。Claude-Opus-4.7作为当前高性能闭源模型代表,其首字节延迟(TTFT)、system_fingerprint版本标识、长文档引用准确率等关键表现,直接影响法律合规分析、技术文档问答、多轮对话系统等高要求场景的落地效果。本文基于106美元真实API消耗、72小时连续压测与19类生产级用例,揭示模型在中文技术术语理解跃迁与context w

chuozhi7142的博客 377

Spring MVC中使用logback的日志配置

一开始在SpringMVC中就配置了logback.xml,但是由于放置的路径不正确,不知道怎么启动这个日志系统。 后来在网上看了别人的说明,logback.xml配置都差不多,只需要放置src包下面就会自动启动日志了。 需要导入的jar包有:logback-core-0.9.29.jar,logback-classic-0.9.29.jar,slf4j-api-1.6.1.jar

lgh_ken的专栏 1万+

KFServing+Istio构建高可用ML生产服务架构

机器学习模型服务化(Model Serving)是MLOps落地的核心环节,其本质是将离线训练的模型转化为稳定、可观测、可治理的在线API。实现这一目标需突破三大技术瓶颈:模型部署自动化、流量全生命周期治理(灰度/熔断/限流)、生产级可观测性(指标/日志/追踪)。KFServing(现Kubeflow Inference)通过CRD抽象统一模型部署与扩缩,Istio则提供细粒度服务网格能力,二者协同支撑模型服务在真实业务场景中的高可用运行——如风控系统每秒8000次调用、大促峰值下的零中断更新。本文聚焦于该

weixin_30613343的博客 320

springboot中logback配置conversionRule、ConsoleAppender|RollingFileAppender、PatternLayoutEncoder、Layout等

详细介绍springboot中logback的配置包含properties、conversionRule、appender、PatternLayoutEncoder、Layout、filter等。包含控制台输出、文件输出、异步输出等

small_to_large的博客 4732

MLOps模型部署实战:环境隔离、服务化与可观测性三步落地

模型部署是MLOps工程化的关键环节,其本质是将训练完成的机器学习模型转化为稳定、可监控、可回滚的生产服务。核心原理在于打破‘能跑即交付’的认知误区,通过环境层(Python/CUDA版本锁定、不可变镜像)、服务层(K8s健康检查、灰度发布)和观测层(延迟P95、特征漂移KS值)三层解耦实现可控交付。技术价值体现在规避因环境不一致导致的线上AUC骤降、响应延迟飙升等典型故障;广泛应用于金融风控、智能推荐、图像识别等需高频迭代模型的业务场景。本文聚焦BentoML在模型服务化与可观测性中的实操落地,覆盖从本地

weixin_34015336的博客 799

熵码匠艺:用热力学熵重构软件匠艺的三层实践体系

在软件工程中,‘软件匠艺’(Software Craftsmanship)长期面临单点优化与系统退化脱节的困境——代码整洁却架构腐化,测试完备但交付失控。其本质是缺乏对系统无序性演化的量化视角。热力学‘熵’作为描述系统混乱度、不可逆衰变与信息耗散的核心物理量,天然契合软件随时间推移必然熵增(Brooks定律、技术债累积)的客观规律。本文基于香农信息熵、依赖图谱分析与组织行为数据建模,构建可测量、可干预的代码熵、架构熵与组织熵三层诊断框架,并融合圈复杂度分层阈值、语义级重复检测、上下文感知依赖建模等实操方法,

世范水晶 396

生产环境删除console/debug

通过给webpack安装插件,可实现打包出来的版本,没有console和debugger。开发环境下还保留console/debugger,既保证开发时方便,又不影响生产版本。

sun_qqq的博客 762

Kubernetes深度排障实战:从kubectl到内核的三层穿透式观察

Kubernetes不是黑盒,而是一套可测量、可调试、可验证的分布式系统。理解其工作原理需超越kubectl命令表层,深入API调用链、组件决策逻辑与内核网络栈三层结构。掌握kube-apiserver的watch机制、scheduler的Predicate评估日志语义、cgroup v2与containerd的适配细节,是实现稳定运维的核心能力。这些技术价值直接支撑企业级高可用集群部署、Ingress 502根因定位、etcd脑裂熔断恢复等关键场景。本文聚焦‘ubuntu 22.04 安装kubernet

weixin_33860553的博客 322

美赛C题解题之道:从预测到决策的随机规划建模实践

时间序列预测是数据分析与决策支持的基础技术,其核心原理在于利用历史数据模式推断未来趋势。在工程实践中,预测的价值最终体现在驱动优化决策上,这催生了预测与优化模型的耦合技术。通过集成预测框架(如SARIMA、Prophet、LightGBM)生成带有不确定性的情景,并将其输入多阶段随机规划模型,可以量化风险并制定稳健策略。这种方法在库存管理、生产计划等资源优化场景中具有重要技术价值,能够有效平衡成本与风险,实现从数据到行动的价值闭环。本文以数学建模竞赛为背景,深入探讨了预测模型与优化决策的协同设计,特别是通过

weixin_30614109的博客 397

AI编排实战:MuleSoft+LangChain构建企业级AI工作流

AI编排是连接大模型与企业系统的关键技术,其核心在于解决数据孤岛、语义鸿沟与合规治理三大挑战。它并非简单调用LLM,而是通过标准化协议协调数据源、安全策略、推理链路与业务规则,实现可信、可控、可审计的智能自动化。在实际工程中,需兼顾企业集成层(如MuleSoft)的协议兼容性、事务一致性与AI原生层(如LangChain)的上下文理解、多步推理能力。典型应用场景包括销售风险分析、智能邮件生成、跨系统知识检索等,尤其适用于CRM、ERP、数据仓库等异构系统深度协同的中大型企业。本文基于真实落地项目,详解双引擎

csobhtdx34120的博客 490

构建全自愈RAG系统:可观测性驱动的故障诊断与动态修复

RAG(检索增强生成)作为当前AI应用落地的核心架构,其稳定性直接决定LLM服务的生产可用性。然而,传统依赖重试或降级的容错机制无法应对分块异常、向量索引失效、语义漂移、OCR识别错误等真实场景故障。真正的可靠性源于系统级可观测性——通过在文本分块、向量化、检索、生成等关键链路植入可解释指标(如topk相似度方差、query embedding范数、BM25交叉验证分),实现故障的精准归因;再结合规则引擎与轻量分类模型构建的故障分类学,驱动动态路由策略与闭环验证机制,使系统具备自主诊断、策略选择、执行补偿与

dengkuituo0680的博客 507

用Flask从零搭建个人博客:开发部署全流程实战指南

Web开发是连接前后端技术与工程实践的桥梁,而Python Web框架的选择往往决定了项目的基础体验。Flask作为轻量级框架,核心原理是路由与视图函数的映射,搭配SQLAlchemy管理数据库、Jinja2渲染模板,能够帮助开发者清晰理解一个完整Web项目的运转链路。在工程实践中,这类技术组合的价值在于灵活可控:从文章列表、详情页到后台管理,每一步都由开发者自主组装,真正掌握每个环节的原理。典型应用场景涵盖个人博客、内容展示站、中小型CMS等,尤其适合Python基础学习者通过实际项目打通爬虫、数据清洗与

weixin_28702105的博客 222

从技术炫技到业务驱动:前端性能优化的有效实践与体系构建

前端性能优化是提升Web应用用户体验和业务效果的关键技术领域。其核心原理在于通过减少资源加载时间、优化代码执行效率与改善渲染性能,来降低用户感知延迟。这项技术的价值不仅体现在Lighthouse评分等实验室指标上,更在于它能直接推动关键业务指标,如降低页面跳出率、提升用户转化率与浏览深度。在实际应用场景中,尤其是在电商、内容等C端高频交互页面,性能瓶颈会直接影响业务收益。本文聚焦于一种务实的方法:将性能工作从追逐技术热点转向以业务价值为核心。通过建立性能指标(如LCP、INP)与业务目标(如转化率)的强关联

weixin_34319111的博客 496

ChatGLM直播笔记实战:中文大模型在弹幕洪流中的鲁棒性验证

大语言模型的实用价值不仅取决于基准评测分数,更体现在真实噪声环境下的语义理解稳定性与任务闭环能力。中文直播场景天然具备高信息密度、语义碎片化和强时效约束三大特征,成为检验模型工程鲁棒性的理想‘压力考场’。ChatGLM系列凭借GLM混合注意力架构,在跨源异构数据(ASR转写、实时弹幕、PPT OCR)融合、时间轴对齐、幻觉抑制等关键环节展现出独特优势。尤其在轻量部署(如RTX 4090+4K上下文)、多轮上下文保持、技术术语归一化等面向中小团队落地的实操维度,提供了可复用的提示词锚点、数据清洗规则与端到端流

bangtuo9862的博客 371

大模型量化部署实战:LMDeploy工具链与AWQ/GPTQ技术解析

模型量化是一种通过降低神经网络权重和激活值数值精度(如从FP16降至INT4/INT8)来压缩模型、减少内存占用的关键技术。其核心原理是在保持模型性能的前提下进行有损压缩,涉及权重量化、激活校准等步骤。这项技术的价值在于能将数十GB的大模型部署到消费级GPU上,大幅降低推理成本,是边缘计算和资源受限场景落地的关键。在应用层面,量化技术广泛应用于大语言模型(LLM)和视觉语言模型(VLM)的轻量化部署。本文聚焦于LMDeploy这一站式工具链,深入探讨其如何集成AWQ(激活感知权重量化)与GPTQ(训练后量化

cunfuxiao7305的博客 498

美丽联合校招笔试题全解析:电商技术岗与产品运营岗备战指南

互联网校招笔试是求职者进入大厂的第一道关卡,其底层逻辑并非单纯考察知识记忆,而是通过业务场景包装基础概念,筛选出具备扎实功底、结构化思维与商业嗅觉的候选人。尤其在电商与内容融合的平台中,高并发架构、推荐算法、用户增长与数据运营成为核心命题方向。从数据结构到系统设计,从产品策略到数据分析,每一类题型都折射出企业对“能落地解决问题”的工程能力与业务理解力的重视。理解这些出题意图,远比背诵答案更有价值。本文以一份典型的电商+内容平台校招笔试题为切入点,拆解技术岗与产品运营岗的考察维度与答题框架,并为求职者提供从笔

weixin_30896825的博客 437

从零构建企业级职工信息管理系统:Spring Boot+Vue全栈实战与避坑指南

企业级应用开发中,业务系统的高定制化与数据自主权是核心诉求。其技术实现通常遵循前后端分离架构,后端通过Spring Boot等成熟框架提供稳定的RESTful API服务,处理复杂的业务逻辑与数据持久化;前端则采用Vue.js等框架构建交互界面,实现模块化与工程化管理。这种架构的价值在于能够高效响应多变的业务需求,确保系统的可维护性与可扩展性。在人力资源管理等具体应用场景下,系统需要处理组织架构、考勤薪酬等核心模块,并严格把控数据权限与安全。本文以职工信息管理系统为例,深入剖析如何运用Spring Boot

corg81763的博客 583

与生产环境中的 console.log 说再见

与生产环境中的 console.log 说再见

liuhao9999的博客 918
上一篇: 生产环境典型问题实录第一期
下一篇: 内存还有几十G,为何jvm会oom crash
dingjs520
博客等级 码龄19年 23粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值