[大数据]Dinky0.7.5+Flink1.15.4集群部署及MySQL整库同步到Doris

最新推荐文章于 2025-03-13 16:41:33 发布
最新推荐文章于 2025-03-13 16:41:33 发布
阅读量1.6k 收藏 9
点赞数 10
分类专栏： 大数据 文章标签： 大数据 mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yyq2272/article/details/135409395
版权

环境准备

IP Hostname Role Role2
10.0.0.1 flink-01 master,woker JobManager,TaskManager,Dinky
10.0.0.2 flink-02 woker TaskManager
10.0.0.3 flink-03 woker TaskManager
安装JDK
yum install java-11-openjdk.x86_64  java-11-openjdk-devel.x86_64 -y
配置hosts
vim /etc/hosts
10.0.0.1 flink-01
10.0.0.2 flink-02
10.0.0.3 flink-03
配置免密
  1. 在flink-01上面生成公钥和私钥对，按照提示一直按下回车键，直到生成密钥对为止。
ssh-keygen -t rsa
  1. 将flink-01上生成的公钥复制到flink-01，flink-02，flink-03
ssh-copy-id root@flink-01
ssh-copy-id root@flink-02
ssh-copy-id root@flink-03

1. Flink集群部署

Master节点操作
  1. 获取Flink安装包
cd /opt && wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-bin-scala_2.12.tgz
  1. 解压压缩包并创建软链接
tar xf flink-1.15.4-bin-scala_2.12.tgz
ln -s flink-1.15.4 flink
  1. 修改配置文件f
最低0.47元/天 解锁文章
实时同步mysql数据到doris，Mysql+kafka+flink+doris
queenten的博客
11-17 5859
1、使用背景 最近组里想要在现有的环境下搭一套实时数仓，综合分析之后doris将会作为实时数仓落地的数据库，数据源有消息数据，还有业务库的数据。 2、数据源接入 消息数据都好说，无论是pulsar,还是kafka，flink官方都已经提供了现成的source接口，照着官方文档去配置一下就ok，但是由于dba这个神秘组织的存在，他们担心会开启bin-log会增大他们的数据库压力，无法给我们开通访问bin-log的权限，作为大头兵的我只能默默接受，因此无法使用flink-cdc的方式去监控pg数据库的bin-l
【实战】Dinky 1.2.1集成Flink 1.18.1：Kubernetes全流程部署指南
sinat_28649711的博客
03-03 649
USER root#下载dink jar并解压到与DokerFile 同级目录下#需要mysql 驱动# 添加创建软链接的命令注意：dinky 启动需要MySQL驱动。2.构建flink镜像Dockerfile#如有需要可自行加此配置。# 更改 s3-fs-hadoop 目录的所有者和所属组为 flink#如需kafak,可配置。
Dinky整库同步mysql到doris问题汇总
weixin_43974943的博客
02-04 771
flink整库同步mysql到doris
Dinky 字段模式演变 PIPELINE 同步MySQL到Doris
TaiYangb的博客
10-15 1891
Dinky FlinkCDC Pipeline 整库同步Mysql到Doris
Doris使用SYNC JOB实现数据的实时同步基础示例
学亮编程手记
10-09 846
请注意，具体的参数和语法可能会根据 Doris 的版本有所不同。在创建同步作业之前，确保你已经正确配置了数据源（如 MySQL Binlog）和目标 Doris 环境。同时，确保你有足够的权限来创建和操作同步作业。语句创建一个新的数据同步作业。你需要指定作业名称、数据源（如 MySQL 的 Binlog）、目标 Doris 数据库和表，以及其他相关参数。Canal 作为数据同步的中间件，需要配置其服务器的 IP、端口、目的地、用户名和密码。这将显示所有同步作业的列表，包括它们的名称、状态和其他详细信息。
Doris：MySQL数据同步到Doris的N种方式
m0_37559973的博客
11-07 9240
通过编程方式，利用jdbc读取mysql中的数据，然后可以通过jdbc或者Stream Load方式插入数据到doris中。当mysql与doris服务之间无法通过网络互联时，可以通过将mysql数据导出成csv文件，然后再在doris服务器导入csv文件的方式进行同步数据。将mysql导出的csv文件上传到doris服务器之后，可以通过Stream Load和MySQL Load两种方式导入数据进doris数据库中。修改fe和be配置文件，指定jdbc_drivers_dir目录。开启服务端导入功能。
Dinky中配置Flink集群
zxcvbnm0207的博客
11-06 634
文件路径：hdfs://ddp54:8020/dinky-app-1.16-1.1.0-jar-with-dependencies.jar。配置文件路径：/opt/datasophon/flink-1.16.2/conf。启动成功后会给出：JobManager Web Interface。路径：hdfs://ddp54:8020/flink-dist。需要启动yarn-session 进程，在集群服务器。启动成功后可以在yarn的资源管理队列进行查看。
DataX（MySQL同步数据到Doris）
悦上心灵的博客
05-16 9568
Apache Doris 为分析而生
dinky + mysql + doris 实时数据同步
hujihu33的博客
12-08 472
【代码】dinky + mysql + doris 实时数据同步。
Dinky MySQLCDC 整库同步到 Doris
SunTecTec
05-29 852
Doris要预先建表，而MySQLCDC 整库到 MySQL 则会自动建表。
dinky+flink+doris实时架构全流程demo
qq_41060328的博客
05-25 4093
flink+dinky+doris实现实时数仓
Flink实时同步MySQL与Doris数据
eagle89的专栏
02-16 2858
Flink-cdc
基于Flink CDC实现Mysql实时同步到Doris系列教程五：Flink CDC提交任务并验证
遇码开源社区
03-13 1046
本文也是该系列教程的最后一篇，期望本系列教程可以实实在在的帮助到你。本文将介绍如何把YAML任务文件使用提交到Flink环境中，最后我们再验证doris数据库中的数据，查看是否实时可查询。本系列教程到这里就结束了，用非常有限的图文带领大家体验了Flink CDC的能力。但是对于我们个人的学习而言则才刚刚开始。但是也希望大家可以理解，大家的环境不同、操作不同，我也没有办法一一帮助大家解决所有的问题，期望大家遇到问题不要着急，慢慢来，解决问题的过程也是深度学习的过程。最后再次强调——多动手。
Dinky教程：使用MySQLCDC将MySQL整库同步到 Doris
学亮编程手记
10-11 608
Doris 的 Flink 连接器参数随版本变化较大，以下为 Doris 1.2.0 版本的参数配置。自动同步列新增和删除列，库表名需要与源库相同。每次提交作业都需要手动修改。的值，比如改变尾部的数值。
Flink1.15.4+flinkcdc+Dinky0.7.3+Mysql5.7+Doris1.2.1实现实时同步
qq_37247664的博客
08-09 935
需要将dinky的dlink-common-0.7.3.jar,dlink-client-1.15-0.7.3.jar,dlink-client-base-0.7.3.jar 这三个jar包放入flink的lib下。修改conf下的flink的yaml文件中rest.bind-address:0.0.0.0。'sink.label-prefix' = '唯一'访问：ip:8888。'database-name' = '库名','table-name' = '表名''username' = '账号',
Dinky DorisCDC 整库同步到 Doris
SunTecTec
05-30 477
参考：Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台_dinky dolphinscheduler flink-优快云博客
Dinky教程--Flink CDC pipline整库同步Doris
atbigapp的博客
08-19 2314
Dinky 是一个基于 Apache Flink 的实时计算平台，它提供了一站式的 Flink 任务开发、运维、监控等功能。 本教程一步一步的教你如何使用dinky运行CDC pipline任务实现整库同步Doris并自动建表功能。Starrocks同理
SQL server + Dinky + doris 数据导入demo
wangqiaowq的博客
06-21 1083
2、实时增量导入 通过flink cdc方式。1、一次性导入整张表(全量历史数据)离线数仓 部分 希望可以。
Dinky 配置教程：使用EXECUTE PIPELINE WITHYAML同步MySQL到Doris 提交 FlinkCDC 3.0 的 Pipeline 任务
学亮编程手记
12-21 303
该功能是为了在 Dinky 中直接提交 FlinkCDC 3.0 的 Pipeline 任务，并支持所有运行模式及 Dinky 的相关特性。可以理解为把 FlinkCDC Pipeline 任务转换为 Operations，并可延用 Dinky 的能力。
dinky flinkcdc 整库同步mysql
最新发布
04-02
### 使用 Dinky 和 FlinkCDC 实现 MySQL 整库同步的配置教程 #### 1. 配置概述 为了实现 MySQL 数据库的全量同步至目标存储（如 Doris 或 StarRocks），可以通过 Dinky 提供的功能来构建基于 FlinkCDC 的 Pipeline。此过程涉及源端数据库连接、数据捕获以及目标端的数据写入等多个环节。 以下是具体的操作指南： --- #### 2. 源端 MySQL 配置 在创建 Pipeline 前，需确保已准备好 MySQL 数据库的相关信息，包括但不限于主机地址、端口、用户名和密码等基本信息。这些参数将在后续的 Source 配置中被引用[^1]。 ```sql -- 示例 MySQL 数据库结构 CREATE DATABASE IF NOT EXISTS test; USE test; CREATE TABLE products ( id INT PRIMARY KEY, name VARCHAR(255), price DECIMAL(10, 2) ); CREATE TABLE orders ( order_id INT PRIMARY KEY, product_id INT, quantity INT ); ``` 上述 SQL 创建了一个 `test` 库及其下的两张表 `products` 和 `orders`，作为演示对象[^3]。 --- #### 3. 构建 Source 环节 Source 节点负责从 MySQL 获取增量或全量数据流。以下是一个典型的 JSON 格式的 Source 参数模板： ```json { "plugin_name": "mysql-cdc", "hostname": "#{host}", "port": "#{port}", "username": "#{username}", "password": "#{password}", "database-name": ["#{schemaName}"], "table-name": ["#{tableName}"] } ``` 其中： - `#{host}` 替换为 MySQL 主机地址； - `#{port}` 替换为 MySQL 端口号，默认为 3306； - `#{username}` 和 `#{password}` 是访问权限凭证； - `#{schemaName}` 和 `#{tableName}` 将分别由实际的库名和表名单独填充。 --- #### 4. 定义 Sink 环节 Sink 节点用于将来自 Source 的数据写入目标存储系统。假设目标是 Apache Doris，则可参考如下配置： ```json { "plugin_name": "doris", "fe-nodes": "localhost:8030", "table-identifier": "#{sinkSchema}.#{sinkTable}", "user": "#{sinkUser}", "password": "#{sinkPassword}" } ``` 在此配置中： - `#{sinkSchema}` 对应目标 Schema 名称（例如 `ods`）； - `#{sinkTable}` 自动映射为目标表名称前缀加原表名的小写形式（如 `test__products`）。这一步遵循了整库同步的标准命名约定。 如果目标改为 StarRocks，则其配置逻辑相似，仅需调整插件名称及相关属性值即可[^2]。 --- #### 5. 测试与验证 完成以上两部分后，在 Dinky 平台上启动对应的 Job，并观察运行状态日志以确认无误。一旦发现异常情况，可通过调试工具定位问题所在并及时修正。 此外，还需注意定期维护上下游系统的元数据一致性，防止因版本升级或其他变更引发兼容性隐患。 --- #### 6. 注意事项 - **字段匹配**：确保 MySQL 表结构能够顺利映射到下游目标表上，必要时手动干预字段类型转换。 - **性能调优**：针对大规模数据迁移场景，合理设置并发度及其他资源分配策略。 - **错误处理机制**：提前规划好失败重试次数上限及告警通知方式，保障作业稳定性。 --- ### 示例代码片段 下面展示了一段完整的 YAML 文件定义样例，适用于描述整个流程链路： ```yaml name: mysql_to_doris_pipeline source: plugin_name: mysql-cdc hostname: localhost port: 3306 username: root password: secret database-name: [test] table-name: [] transform: - type: map fields: - from: 'id' to: 'product_id_mapped' sink: plugin_name: doris fe-nodes: localhost:8030 table-identifier: ods.test__products user: admin password: passw0rd ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值