
xxl-job
文章平均质量分 69
二爵爷点灯
这个作者很懒,什么都没留下…
展开
-
如何解决项目中maven包冲突
简介在项目的开发过程中会依赖很多第三方的依赖包,这些第三方依赖包也会引用其他第三方的maven依赖,这样就可导致项目中出现某个maven依赖包存在很多个版本,遇到某个依赖存在安全风险时就需要升级依赖,这时就需要解决依赖包之间的版本冲突开发工具:IntelliJ IDEA用到的IDEA插件:Maven Helperstep1:查看项目中的maven依赖冲突?step2:定位与那个依赖产生冲突step3:解决冲突(我们保留fastjson1.2.70,就需要在1.2.50的m原创 2022-03-30 10:55:22 · 863 阅读 · 0 评论 -
hbase数据库连接池 未设置最大链接数导致数据库操作异常频发
简介业务中将主要数据存储定位hbase存储,近期突然发现数据比对不上,发现实在创建环节发生异常导致逻辑执行终端(hbase存储或查询出现异常)。表现:供应商提供参考:供应商提供的解决方案: 关闭超过90s未使用的链接是一种保护方案,可以重新链接一下就好了第一次按照解决方案优化结果按照供应商提供的解决思路,对核心调用环节增加了异常捕获和重试(4次),依然还是有很多超过两次以上的异常报错,因为可能造成的影响很大,因此继续和供应商沟通是否有彻底解决方案,避免此...原创 2022-03-01 17:35:31 · 2461 阅读 · 0 评论 -
Linux 内存使用率超过90%,问题排查和清理
摘要问题发生在周末,正在家休息突然接收到告警信息提示linux内存使用率超过90%,刚接收到信息以为是程序发生了内存泄漏。登录Linux通过top命令发现系统占用内存正常。各进程内存使用率都很低使用命令:free -h 查看内存使用情况命令:free -h下图为已经清理后的可以看到used使用了1.8GB,当时告警used为6.3GB而且还在持续增长中使用:通过释放 文件缓存,手动释放缓存的方法命令:echo 3> /proc/sys/vm/drop_cache...原创 2022-02-14 15:38:08 · 30390 阅读 · 0 评论 -
【云产品】hbase 索引使用笔记
简介: 此文记录公司记录使用阿里云产品hbase增强版,使用过程涉及到的关键问题点,首先云hbase增强版最新版本时支持sql查询,但是只允许用户建立5个二级索引,但用户可以通过建立组合索引的方式来增加查询的效率。查询时最多命中一个索引 hbase增强版查询时,只会命中一个索引,因此在创建索引时要结合自己常用的查询语句创建索引,因为考虑到查询效率和索引数量限制建议建组合索引。在测试环境尽量多测试多压测暴露问题 测试环境作为功能验收重要环...原创 2021-12-24 10:20:58 · 1473 阅读 · 0 评论 -
xxl-job 处理能力提升记录和验证点
公司目前逐渐慢慢开始推广xxl-job来替换一些其他的定时任务框架,因为我们做了很多告警提示,重试类型,以及扩展了API任务触发方式来满足业务方的需求。同时对于分布式锁业进行来替换(redis和zk)。功能上已经满足公司很多的业务需求,但是在性能瓶颈上遇到了问题。问题出现在mysql上,因为api 投递的任务每天增长数据在300w条任务执行记录,因此在查询上就变的越来越慢。这还只是刚开始,后期还会有其他高频和大数据量的api 投递任务接入进来做一些异步优化,数据量预估5000w-1亿2千万每...原创 2021-12-13 13:59:25 · 2335 阅读 · 0 评论 -
变量不为空触发的空指针异常
简介 最近在为公司一个基础组件做性能优化,优化主要是通过使用hbase存储来替换mysql,考虑到只是针对于一张表(切换后日数据量超过亿条记录)做存储切换。为了上线过程中出现问题可以不用通过回滚版本的方式来进行紧急操作。我们采用开关的形式:全局开关和局部开关来对数据存储进行切换。 因为是灰度切换,因此会有一个存储方式过度并存的时间,同时部分数据必须保证能够获取到:根据id获取数据,因此写了一个公用的判断方法来做数据源判断。也就是在判断的过程中我遇到了值非空的NullPoi...原创 2021-12-07 16:02:45 · 351 阅读 · 0 评论 -
xxl-job基础组件核心类解解读二:JobTriggerPoolHelper
前言: 在具体解读JobTriggerPoolHelper核心类功能原理的过程中你请大家先熟悉:ThreadPoolExecutor,volatile,ConcurrentMap,AtomicInteger等基础原理,同时请考虑下当采用集群部署时,JobTriggerPoolHelper类在程序运行中会有哪些问题?提示:volatile,AtomicInteger,ConcurrentMap。摘要: 本次会通过一次任务的执行来解析JobTriggerPoolHelpe...原创 2021-11-07 11:29:22 · 3106 阅读 · 0 评论 -
xxl-job基础组件核心类解解读一:XxlJobScheduler
前言:前人栽树后人乘凉,基础框架和组件让我们在开发的过程中只需关注与业务本身功能的开发即可,大大节约了我们的开发成本,让我们的工作效率变得更加的高效。在此感谢所有基础组件的开发者们让我们codeing简单高效。摘要:xxl-job基础组件核心类解读是我个人熟悉xxl-job的过程,大家可以借鉴一下某一部分的解读。希望大家在阅读的过程中发现问题给我留言,我会及时订正避免给大家带来误导。XxlJobScheduler在我看来是xxl-job的主板:i18n的加载,触发线程池初始化,失败监...原创 2021-10-31 23:33:33 · 843 阅读 · 0 评论 -
一次升级开源框架带来的思考:xxl-job
1.为什么选用他,2.使用它带来了哪些问题3.如何解决这些问题?4.要防范的问题点原创 2021-10-28 17:49:51 · 3628 阅读 · 0 评论