ds一些不易排查问题的总结

原创 已于 2023-08-01 09:19:20 修改 · 431 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #开发语言 #apache

于 2023-07-31 10:14:55 首次发布
文章讨论了在DolphinScheduler中遇到的任务执行延迟和自动退出问题，可能是由于集群时间不统一或worker节点的OOM情况。解决方案包括减少worker并发量和避免在worker上执行资源密集型任务如datax。同时，提到了代码问题，包括switch分支交叉导致的运行结果错误和日志异常处理不成功，以及子流程选择失败后状态显示异常。

文章目录

非代码问题

  • 任务没有设置延迟，但是会显示延时执行，（集群时间不统一）

  • 任务执行期间 自动把自己杀死了退出码137，且任务多是在worker 本地执行的任务（比如datax），137 无故退出要么是手动杀死，又或者是oom 了，这是因为datax 需要本地的资源执行， 当worker 并发量大的时候xmx和xms 不是一样的。导致任务资源膨胀起来之后oom 了。解决方案，减小worker 的并发量，或者将这些消耗本地资源的任务放到非worker 上执行

代码问题

  • switch 两个执行分支交叉导致运行结果不符合预期[https://github.com/apache/dolphinscheduler/pull/14563]
  • 日志如果有异常mask 不成功 [https://github.com/apache/dolphinscheduler/pull/14018]
  • 流程subprocess 选择失败结束，但是subprocess 节点一直事运行中的状态[https://github.com/apache/dolphinscheduler/pull/14170]
DS1302外部晶振不会震荡的问题，如何解决？
**My Coding Family**
06-09 1646
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
DS18B20初始化失败，如何解决？
**My Coding Family**
05-19 868
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
DS在指定時間采集不到數據的bug
m0_37759590的博客
03-20 176
最近在使用dolphinscheduler進行離綫數倉進行定時調度時，發現無法定時到具體的時間，只要指定了具體的時候，定時任務就不會啓動起來
记一次Dolphinscheduler 1.3.6 worker OOM
Old Belvey
12-09 555
记一次Dolphinscheduler 1.3.6 worker OOM
Jenkins时间与服务器系统时间不一致问题
MyHarper的博客
05-28 1103
解决：打开jenkins的【系统管理】—> 【脚本命令行】，在命令框中输入一下命令【时间时区设为 亚洲上海】 System.setProperty('org.apache.commons.jelly.tags.fmt.timeZone', 'Asia/Shanghai') 找到脚本命令行 输入命令 ...
Dolphinscheduler调度生成工作流实例未生成任务实例解决历程 one result (or null) to be returned by selectOne(),but found: 2
qq_41018861的博客
09-22 5639
问题发生在上线调度，手动启任务时出现，master报如下错误：发现好几个任务失效。
S32DS刷程序当进度在99%时报错：Error during flash programming. Terminating debug session..如何解决？
**My Coding Family**
08-09 801
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！
基于STM32f103c8通过DS18B20实现温度采集，如何实现？
**My Coding Family**
05-06 1329
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
分库分表-理论、方案、问题总结
qq_28136919的博客
06-27 3271
分库分表理论、方案设计、带来的问题解决总结文章
摄像头图像抖动与曝光异常问题排查：提升识别准确率的8个实战调试技巧
[摄像头图像抖动与曝光异常问题排查：提升识别准确率的8个实战调试技巧](https://phabdio.takeoffprojects.com/upload/1633064290.png) # 1. 摄像头图像抖动与曝光异常问题概述 在工业视觉、智能监控与移动机器人等...
点赞系统问题
amdkk的博客
12-26 726
​​：Spring Pulsar 提供的接口，允许通过customize方法深度定制消费者行为。批量接收策略配置。：控制批量消息接收策略maxNumMessages：单次批量拉取多少条信息timeout：超时后触发批量处理。NACK重试策略当消费者调用时触发重试。：消息重投递的退避策略接口。.minDelayMs(1000) // 初始延迟 1 秒 .maxDelayMs(60000) // 最大延迟 60 秒 .multiplier(2) // 指数退避倍数。
计算机毕业设计|基于springboot + vue健康茶饮销售管理系统(源码+数据库+文档)
12-24 842
本文介绍了基于SpringBoot+Vue的健康茶饮销售管理系统开发。系统采用前后端分离架构，后端使用SpringBoot框架简化配置，前端采用Vue实现组件化开发，数据库选用MySQL。文章详细说明了系统设计原则、技术选型理由，并提供了代码示例和测试案例。系统功能完整，包含商品管理、用户认证等模块，通过严格测试确保安全性。文末附有源码获取方式和最新毕设选题推荐，适合作为计算机专业学生的项目参考。
电子书《Java编程思想（第4版）》
吴名氏的博客
12-23 5448
电子书《Java编程思想（第4版）》
抽象类和接口的区别
最新发布
tryxr的博客
12-27 514
本文对比了Java中接口（Interface）与抽象类（AbstractClass）的8个核心区别。主要差异包括：抽象类使用abstract class定义，支持单继承，可包含实例字段和构造器，体现"is-a"关系；接口使用interface定义，允许多实现，仅包含常量，体现"can-do"能力。抽象类适合共享代码和状态，接口适合定义跨类能力。建议优先使用接口定义能力，仅在需要共享状态或实现模板方法时使用抽象类，并考虑组合优于继承。二者可结合使用，如Shape抽象类实
通过adb命令获取某个window或View/子View的绘制内容并输出为png图片的方法
Railshiqian的博客
12-23 953
本文介绍了通过adb工具获取Android系统Window和View结构的方法。首先需要建立adb与ViewServer的连接（端口4939），然后通过"LIST"命令获取可dump的窗口列表，再使用"DUMP [窗口ID]"命令查看指定窗口的View树结构。该方法可帮助开发者分析应用界面问题，替代已废弃的Hierarchy View工具。示例展示了如何获取系统导航栏TopCarSystemBar的View层级信息，包括ViewGroup的各种属性和状态。
mybatis-plus插件解决sql报错：this is incompatible with sql_mode=only_full_group_by ”
吉他程序员的博客
12-23 248
解决的办法可以改sql，也可以改sql服务的conf配置， 但是如果你项目用的是mybatis-plus插件 ， 就可以用我介绍的很简单的方法。是 MySQL 的严格模式要求，确保 GROUP BY 查询的语义明确。这个错误是 MySQL 5.7+ 版本中最常见的兼容性问题之一。SELECT 列表中的列不在 GROUP BY 子句中。MySQL 无法确定从分组中的哪行返回这些列的值。且这些列也不是聚合函数的参数。然后重启项目就可以了。
spring boot 运行测试类时：Error creating bean with name ‘serverEndpointExporter‘ 问题
csdndd521的博客
12-26 100
这个在Websocket中，注入不进去，单元测试时报错。直接在@SpringBootTest加入。
Java中的序列化和反序列化是什么？
qq_44678890的博客
12-24 267
比如，如果在没有定义一个serialVersionUID的前提下，接着序列化一个对象，在反序列化之前，在对象中增加了一个成员变量使得对象的类结构发生了改变，这个时候进行反序列化就会失败。至于怎么防，如果有些像密码这种的字段，它不想被保存下来，我们可以通过加上一个transient关键字，这样的话，序列化的时候就会自动跳过这些字段。，由于硬盘和网络都只认识二进制的0和1，不认识Java对象，所以必须进行转换，把二进制的数据变回内存中的对象。这3个问题面试官比较喜欢问。在具体的实现细节上，有。
【Java】反射机制
2501_91676654的博客
12-27 730
Java反射机制是在运行时动态获取类信息并操作对象的机制，其核心功能包括获取类元数据、动态创建实例、调用方法和访问属性等。反射通过java.lang.reflect包和Class类实现，主要步骤包括获取Class对象、获取成员对象、突破访问权限和执行操作。获取Class对象有三种方式：类名.class、对象.getClass()和Class.forName()。反射在框架开发、动态代理和注解处理等场景中广泛应用，但存在性能损耗、破坏封装等缺点。优化反射性能可通过缓存反射对象、减少setAccessible调
DS不生效没有事务怎么排查
01-14
### DS 注解数据源不生效且无事务情况下的排查与解决方案 当遇到 `@DS` 数据源注解不生效的情况，即使不存在显式的 `@Transactional` 事务控制时，仍然可能存在一些潜在的原因影响数据源的正常切换。以下是详细的排查思路和可能的解决方案： #### 排查方向一：AOP 切面顺序问题 确保 AOP 的切面执行顺序正确。通常情况下，`@DS` 应该优先于其他任何操作被执行，以保证后续的操作能够基于正确的数据源进行。 ```java @Configuration @EnableAspectJAutoProxy(proxyTargetClass = true, exposeProxy = true) public class DataSourceConfig { // 配置多个数据源... } ``` #### 排查方向二：检查上下文中的默认数据源配置 确认 Spring 上下文中是否存在默认的数据源定义，并验证这些默认配置是否会干扰自定义的数据源选择逻辑[^1]。 #### 排查方向三：线程局部变量管理不当 由于动态数据源的选择依赖于线程局部变量(ThreadLocal)，因此需要确保在整个请求链路中不会意外清除或覆盖此变量。特别是在异步调用场景下更需注意这一点[^2]。 #### 解决方案一：强制指定传播行为 即便没有显示声明事务，在某些框架内部也可能隐含地开启了读取型事务（readOnly）。此时可以通过设置特定的事务传播策略来规避这一现象: ```java @Service public class MyService { @DS("secondaryDataSource") @Transactional(propagation = Propagation.NOT_SUPPORTED) public void saveData(){ // 执行保存操作 } } ``` 通过将传播级别设为 `Propagation.NOT_SUPPORTED` 可以有效地阻止任何形式的事物启动，从而让 `@DS` 正常工作[^3]。 #### 解决方案二：调整 AOP 组件加载时机 对于那些由第三方库引入的自动装配组件，有时它们会在应用程序初始化阶段过早地注册自己的增强器(advisor), 这样就可能导致我们自己编写的针对 `@DS` 处理逻辑被忽略掉。为此可以在应用启动类里加入如下配置项: ```properties spring.aop.auto=true mybatis-plus.configuration.map-underscore-to-camel-case=true ``` 同时也可以考虑降低相关starter包版本号或者查阅官方文档寻找是否有针对性参数可调节此类行为[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值