Dinky中配置Flink集群

最新推荐文章于 2025-06-11 09:17:17 发布

yangjiwei0207

最新推荐文章于 2025-06-11 09:17:17 发布

阅读量720

点赞数 3

CC 4.0 BY-SA版权

文章标签： flink 大数据服务器

本文链接：https://blog.youkuaiyun.com/zxcvbnm0207/article/details/143572871

需要启动yarn-session 进程，在集群服务器

cd /pwd//flink/bin

yarn-session -d

启动成功后可以在yarn的资源管理队列进行查看

启动成功后会给出：JobManager Web Interface

在dinky中进行配置：

集群配置

Hadoop 配置：

Hadoop 配置文件路径

/opt/datasophon/hadoop-3.3.3/etc/hadoop

Flink 配置：

Flink Lib 路径：hdfs://ddp54:8020/flink-dist

Flink 配置文件路径：/opt/datasophon/flink-1.16.2/conf

提交 FlinkSQL 配置项：

Jar 文件路径：hdfs://ddp54:8020/dinky-app-1.16-1.1.0-jar-with-dependencies.jar

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yangjiwei0207

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

Dinky 安装部署并配置提交 Flink Yarn 任务

主要分享大数据相关的知识，如Spark、Hudi

05-13

1310

Dinky 安装部署并配置提交 Flink Yarn 任务

[大数据]Dinky0.7.5+Flink1.15.4集群部署及MySQL整库同步到Doris

yyq2272的博客

01-17

1700

Dinky0.7.5+Flink1.15.4集群部署及MySQL整库同步到Doris

参与评论您还未登录，请先登录后发表或查看评论

Dinky注册flink集群执行flink作业报错-ERROR:java.lang.NoClassDefFoundError

weixin_43974943的博客

01-16

1174

dinky+flink执行flink作业报错

Dinky集成Flink碰到的问题

bewithyou729的博客

07-20

1217

提示，无法创建my_catalog，思考了一下在配置文件中配置了数据库连接相关的信息，同时我也创建了dinky用户和授予dinky用户相关权限，应该不至于出现这个问题。找不到相关的驱动，在这之前，我以及把flink相关依赖同步到dinky，MySQL、kafka连接器分别同步到flink和dinky目录下。不久前，在集群上安装了dinky以解决flinkcdc同步占用大量数据库连接以及集群资源的问题，dinky安装步骤，参考dinky官网。然后重启一下dinky，再测试一些，异步提交任务成功！

Dinky与Flink深度集成实践指南

最新发布

gitblog_00837的博客

06-11

448

Dinky与Flink深度集成实践指南前言 Dinky作为一款强大的数据开发平台，与Flink的深度集成能够为开发者提供更加便捷的流批一体开发体验。本文将详细介绍如何将Dinky与Flink进行集成，并提供一个完整的实践案例。环境准备系统要求在开始集成前，请确保您的系统满足以下基本要求： Java环境：JDK 1.8或11版本 Dinky版本：1.0.0及以上数据库：MySQL 5.7...

从Dinky聊聊Flink的二次开发

bigdatakenan的博客

01-03

2949

这几天研究了一下Dinky，确实是一款很不错的软件，功能很强大，也很实用，可以极大的方便我们flink sql的开发工作，同时他也支持其他一些主流数据库的SQL,像starrocks。Dinky号称基于Flink二次开发，没有侵入Flink,所以这一点就值得我们学习，为了了解Dinky我自己也搭建了一套Dinky环境，确实使用起来非常舒适，搭建过程也是比较容易，下面简单列一下搭建过程。

wsl内置Ubuntu使用 Dinky 与 Flink 集成

qq_33472553的博客

02-18

1668

直接启动成功。

dinky0.7.1+flinkcdc2.3.0整库同步pgsql

weixin_45249411的博客

03-08

1220

dinky0.7.1+flinkcdc2.3.0整库同步pgsql

dinky依赖flink1.14.6相关jar包

05-25

dinky依赖flink1.14.6相关jar包，包含mysql-cdc、doris驱动、jdbc、mysql-connector等： flink-doris-connector-1.14_2.12-1.1.1.jar、flink-sql-connector-mysql-cdc-2.1.1.jar、dlink-connector-jdbc-1.14-0.7.2.jar、mysql-connector-java-5.1.27-bin.jar、flink-faker-0.5.0.jar、flink-connector-jdbc_2.12-1.14.6.jar等基础jar包，下载后替换dinky/plugins/flink1.14即可

【实战】Dinky 1.2.1集成Flink 1.18.1：Kubernetes全流程部署指南

sinat_28649711的博客

03-03

777

USER root#下载dink jar并解压到与DokerFile 同级目录下#需要mysql 驱动# 添加创建软链接的命令注意：dinky 启动需要MySQL驱动。2.构建flink镜像Dockerfile#如有需要可自行加此配置。# 更改 s3-fs-hadoop 目录的所有者和所属组为 flink#如需kafak,可配置。

dinky0.7.3版本

08-09

- **JobManager**：负责任务调度和状态管理，是Flink集群的“大脑”。 - **TaskManager**：执行实际的计算任务，接收并执行JobManager分配的任务。 - **DataSources** 和 **DataSinks**：数据的输入源和输出端口...

Dinky手把手教程 - 连接Flink Sql Cli控制台

atbigapp的博客

08-16

1847

Dinky 是一个开箱即用的一站式实时计算平台，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架,致力于流批一体和湖仓一体的建设与实践。 flink sql cli是flink 提供的一个sql执行工具，可以方便的进行sql预览，执行等操作

Dinky安装和部署

Appreciate(欣赏)

01-21

4544

Dinky 是一个开箱即用、易扩展，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。

基于 Dinky + FlinkSQL + Flink CDC 同步 MySQL 数据到 Elasticsearch、Kafka

MHXSH_1_0的博客

06-06

3546

是一个开箱即用的一站式实时计算平台以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架致力于流批一体和湖仓一体的建设与实践。本文以此为FlinkSQL可视化工具。使得使用标准 SQL 开发流式应用变得简单，免去代码开发。本文使用允许从 MySQL 数据库读取快照数据和增量数据。

使用Dinky快速提交Flink operator任务

weixin_45249411的博客

01-05

900

上传任务jar包复制地址。右键复制jar包地址。比如rs:/flink-test-1.0-SNAPSHOT.jar。3.数据库配置要写静态ip，别写127.0.0.1.不然会报错。1.修改这里的Dinky地址，不然会下载报错。2.集群配置地址时。

Docker手把手使用flink+kafka，然后使用dinky

qq_33472553的博客

02-20

1444

AliLinux是基于CentOS的。1、java 环境2、mysql环境3、kafka环境4、flink环境5、dinky环境这些环境，本想直接dnf安装在宿主机上，思来想去，还是用docker方便学习，也方便统一管理和使用。

测试环境搭建整套大数据系统（七：集群搭建kafka(2.13)+flink（1.13.6）+dinky（0.6）+iceberg）

weixin_43446246的博客

02-26

567

修改以下俩内容1.三台机器分别给予各自的broker_id。

Dinky手把手教程 - 集成K8s，提交Flink On K8s Application任务

atbigapp的博客

08-19

1826

Dinky 是一个基于 Apache Flink 的实时计算平台，它提供了一站式的 Flink 任务开发、运维、监控等功能。Kubernetes 是一个强大的容器编排平台，能够自动化应用的部署、扩展和管理。将 Flink 与 Kubernetes 集成，可以充分利用 Kubernetes 的优势，实现 Flink 任务的弹性伸缩、自动化部署和高可用性。

Dinky，让 Flink SQL 纵享丝滑

大数据指北

09-29

6333

流批一体，牛逼一体。

dinky集群配置报错

01-04

### Dinky集群配置报错解决方案对于Dinky集群配置过程中遇到的错误，可以采取一系列措施来排查并解决问题。当确认整库同步任务提交失败时，应检查Flink Web界面中的JobGraph是否包含Sink节点[^1]。如果不含Sink，则表明在构建Sink阶段出现问题；此时应当前往配置中心下的系统信息部分查阅Logs以获取更详细的报错详情，从而进一步分析具体原因。更换不同版本的CDC JAR文件以及尝试多个版本的Flink集群可能无法有效解决根本问题。有实例显示，在经历了多种组合试验未果的情况下，将注意力转向Kubernetes环境设置可能是有效的途径之一。通过创建一个独立于生产环境之外的小规模Standalone测试集群来进行验证，有助于排除复杂环境中潜在干扰因素的影响，进而更快地发现实际存在的配置缺陷或兼容性障碍[^3]。另外值得注意的是，在进行任何新的组件集成之前，先确保基础架构如Flink与ChunJun之间的连接稳定可靠是非常重要的。这一步骤可以帮助减少后续调试过程中的不确定性，并使得整个系统的故障诊断更加高效有序[^2]。 ```bash # 示例命令用于启动一个新的Flink会话集群（仅作示意） kubectl apply -f flink-session-cluster.yaml ```