促进者-优快云博客

原创 dinky中oss与paimon任务类型执行失败，报错：java.lang.NoSuchMethodError: org.apache.hadoop.util.SemaphoredDelegating

摘要在Dinky中配置OSS任务和Paimon时，添加flink-oss-fs-hadoop依赖后出现NoSuchMethodError错误，提示缺少SemaphoredDelegatingExecutor类。经排查发现是Hadoop版本冲突导致，虽然已统一配置Hadoop 3.3.6并排除低版本依赖，问题依然存在。最终通过在Dinky的extends目录下添加全套Hadoop 3.3.6的jar包解决了问题。但该方法较为繁琐，存在两个待解决问题：1）Dinky优先加载了哪个类导致冲突；2）是否有更简洁的

2026-01-09 16:19:41 500

原创 dinky实时计算平台,配置oss任务报错

本文介绍了在使用Dinky平台执行Flink OSS相关任务时遇到的配置问题及解决方案。主要问题表现为"fs.oss.endpoint"配置缺失的错误，尽管已在Hadoop和Flink中正确配置。作者发现Flink文件系统采用懒加载机制，导致首次访问OSS路径时可能因配置未加载而失败。解决方案包括：1)在任务执行器中添加文件系统初始化扩展；2)在相关方法中增加初始化配置，提前加载文件系统配置。该问题揭示了Flink文件系统初始化机制与Dinky平台配置传递之间的兼容性问题，通过主动初始化

2026-01-06 19:46:05 1136

原创 dinky平台提交yarn任务报ClassNotFoundException

Dinky平台是基于Apache Flink构建的开源实时计算平台，支持作业开发、调试和监控。在使用过程中遇到Hive Metastore客户端创建失败的问题，报错显示缺少com/facebook/fb303/FacebookService$Iface类。该错误源于Flink连接Hive时依赖的类库缺失，建议检查Hive相关依赖包是否完整，特别是libfb303的jar包是否在类路径中。可通过添加相应依赖或调整Hive版本兼容性来解决此问题。

2026-01-06 19:07:28 323

原创 dinky平台提交yarn任务报Hadoop版本不兼容问题

摘要：Dinky（基于Flink 1.20.0的开源实时计算平台）在提交任务到YARN时出现NoSuchMethodError异常，报错指向Hadoop 3.3.6的FutureDataInputStreamBuilder.optLong方法缺失。该问题源于Flink connector与Hadoop版本不兼容，导致HiveMapredSplitReader初始化失败。环境配置为Hadoop 3.3.6、Hive 3.1.3、Dinky 1.2.1，需检查组件版本兼容性或升级Hadoop相关依赖。

2026-01-05 15:20:53 892

翻译数据地图Open-metadata中文版分享

OpenMetadata 是一个统一的元数据平台，用于数据发现、数据可观察性和数据治理，它由中央元数据存储库、深入的列级血缘关系和无缝的团队协作提供支持。您可以定义数据域和数据产品，分配所有者和利益相关者，并使用标签和术语对数据资产进行分类。元数据 API：这些是基于元数据模式构建的用于生成和消费元数据的接口。数据文档化：使用富文本、图像和链接来记录您的数据资产和元数据实体。元数据存储库：这是用于存储和管理元数据图的中央存储库，以统一的方式连接数据资产、用户和工具生成的元数据。

2025-10-27 16:51:50 497