Dinky中配置Flink集群

最新推荐文章于 2025-06-11 09:15:13 发布

原创

最新推荐文章于 2025-06-11 09:15:13 发布 · 917 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #服务器

需要启动yarn-session 进程，在集群服务器

cd /pwd//flink/bin

yarn-session -d

启动成功后可以在yarn的资源管理队列进行查看

启动成功后会给出：JobManager Web Interface

在dinky中进行配置：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yangjiwei0207

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

Dinky 安装部署并配置提交 Flink Yarn 任务

主要分享大数据相关的知识，如Spark、Hudi

05-13

1559

Dinky 安装部署并配置提交 Flink Yarn 任务

Dinky + flink1.14 实时数据处理平台搭建

zhengbinggui的博客

07-27

1436

Dinyk页面访问：http://192.168.2.177:18888。注册中心→集群管理→Flink 实例管理，添加一个集群实例。其中dlink.sql在官方下载源码的时候有提供，采用docker-compose安装，命令如下。到此已经安装完成了，可以进行数据开发了。1.dinky与flink绑定。版本8.30，安装步骤略。2.开启binlog。

参与评论您还未登录，请先登录后发表或查看评论

大数据组件(三)快速入门实时计算平台Dinky

qq_44665283的博客

01-06

3345

大数据组件(三)快速入门实时计算平台Dinky（cdc2hbase、kafka2doris等案例详解）

【实战】Dinky 1.2.1集成Flink 1.18.1：Kubernetes全流程部署指南

sinat_28649711的博客

03-03

1031

USER root#下载dink jar并解压到与DokerFile 同级目录下#需要mysql 驱动# 添加创建软链接的命令注意：dinky 启动需要MySQL驱动。2.构建flink镜像Dockerfile#如有需要可自行加此配置。# 更改 s3-fs-hadoop 目录的所有者和所属组为 flink#如需kafak,可配置。

从Dinky聊聊Flink的二次开发

bigdatakenan的博客

01-03

3251

这几天研究了一下Dinky，确实是一款很不错的软件，功能很强大，也很实用，可以极大的方便我们flink sql的开发工作，同时他也支持其他一些主流数据库的SQL,像starrocks。Dinky号称基于Flink二次开发，没有侵入Flink,所以这一点就值得我们学习，为了了解Dinky我自己也搭建了一套Dinky环境，确实使用起来非常舒适，搭建过程也是比较容易，下面简单列一下搭建过程。

[大数据]Dinky0.7.5+Flink1.15.4集群部署及MySQL整库同步到Doris

yyq2272的博客

01-17

1899

Dinky0.7.5+Flink1.15.4集群部署及MySQL整库同步到Doris

Dinky注册flink集群执行flink作业报错-ERROR:java.lang.NoClassDefFoundError

weixin_43974943的博客

01-16

1286

dinky+flink执行flink作业报错

Dinky安装和部署

Appreciate(欣赏)

01-21

5383

Dinky 是一个开箱即用、易扩展，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。

wsl内置Ubuntu使用 Dinky 与 Flink 集成

qq_33472553的博客

02-18

1818

直接启动成功。

dinky0.7.1+flinkcdc2.3.0整库同步pgsql

weixin_45249411的博客

03-08

1314

dinky0.7.1+flinkcdc2.3.0整库同步pgsql

dinky依赖flink1.14.6相关jar包

05-25

dinky依赖flink1.14.6相关jar包，包含mysql-cdc、doris驱动、jdbc、mysql-connector等： flink-doris-connector-1.14_2.12-1.1.1.jar、flink-sql-connector-mysql-cdc-2.1.1.jar、dlink-connector-jdbc-1.14-0.7.2.jar、mysql-connector-java-5.1.27-bin.jar、flink-faker-0.5.0.jar、flink-connector-jdbc_2.12-1.14.6.jar等基础jar包，下载后替换dinky/plugins/flink1.14即可

Dinky 让Flink作业纵享丝滑

qq_34905631的博客

07-01

2633

Dinky的部署方式还有很多：二进制可执行包部署，源码编译部署，docker-compose部署，k8s部署等，支持多种flink模式提交任务，使用flink支持整库同步、增量和实时CDC数据同步，还集成DolphinScheduler(小海豚调度平台)，支持主流的关系型数据库、OLAP数据库和数据湖产品，还有运维监控功能，可视化管理flink任务，Dink。

Dinky手把手教程 - 连接Flink Sql Cli控制台

atbigapp的博客

08-16

2080

Dinky 是一个开箱即用的一站式实时计算平台，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架,致力于流批一体和湖仓一体的建设与实践。 flink sql cli是flink 提供的一个sql执行工具，可以方便的进行sql预览，执行等操作

Dinky项目集群管理功能详解

最新发布

gitblog_00444的博客

06-11

413

Dinky作为基于Apache Flink的一站式实时计算平台，其集群管理功能是整个系统的核心组件之一。集群管理模块负责管理Flink集群的生命周期、配置信息以及与任务执行的关联关系，为用户提供统一的集群资源管理能力。 ## 集群管理架构设计 Dinky的集群管理采用分层架构设计，主要包含两个核心实体： ### 1. 集群实例（ClusterInstance）集群实例代表一个具体的Fli...

Dinky集成Flink碰到的问题

bewithyou729的博客

07-20

1428

提示，无法创建my_catalog，思考了一下在配置文件中配置了数据库连接相关的信息，同时我也创建了dinky用户和授予dinky用户相关权限，应该不至于出现这个问题。找不到相关的驱动，在这之前，我以及把flink相关依赖同步到dinky，MySQL、kafka连接器分别同步到flink和dinky目录下。不久前，在集群上安装了dinky以解决flinkcdc同步占用大量数据库连接以及集群资源的问题，dinky安装步骤，参考dinky官网。然后重启一下dinky，再测试一些，异步提交任务成功！

基于 Dinky + FlinkSQL + Flink CDC 同步 MySQL 数据到 Elasticsearch、Kafka

MHXSH_1_0的博客

06-06

3710

是一个开箱即用的一站式实时计算平台以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架致力于流批一体和湖仓一体的建设与实践。本文以此为FlinkSQL可视化工具。使得使用标准 SQL 开发流式应用变得简单，免去代码开发。本文使用允许从 MySQL 数据库读取快照数据和增量数据。

使用Dinky快速提交Flink operator任务

weixin_45249411的博客

01-05

1115

上传任务jar包复制地址。右键复制jar包地址。比如rs:/flink-test-1.0-SNAPSHOT.jar。3.数据库配置要写静态ip，别写127.0.0.1.不然会报错。1.修改这里的Dinky地址，不然会下载报错。2.集群配置地址时。

Docker手把手使用flink+kafka，然后使用dinky

qq_33472553的博客

02-20

1526

AliLinux是基于CentOS的。1、java 环境2、mysql环境3、kafka环境4、flink环境5、dinky环境这些环境，本想直接dnf安装在宿主机上，思来想去，还是用docker方便学习，也方便统一管理和使用。

dinky集群配置报错

01-04

更换不同版本的CDC JAR文件以及尝试多个版本的Flink集群可能无法有效解决根本问题。有实例显示，在经历了多种组合试验未果的情况下，将注意力转向Kubernetes环境设置可能是有效的途径之一。通过创建一个独立于生产...