dinky部署-构建湖仓一体工具

最新推荐文章于 2025-04-09 16:40:55 发布

西瓜君qaq

最新推荐文章于 2025-04-09 16:40:55 发布

阅读量525

点赞数 8

文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/qq_42396440/article/details/143233438

版权

1，介绍

实时即未来，Dinky 为 Apache Flink 而生，让 Flink SQL 纵享丝滑。

Dinky 是一个开箱即用、易扩展，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。致力于简化Flink任务开发，提升Flink任务运维能力，降低Flink入门成本，提供一站式的Flink任务开发、运维、监控、报警、调度、数据管理等功能。

2，前置条件

因dinky默认的h2数据库适合轻量级，推荐配置外部元数据库，我这边选择mysql

#使用外部mysql，进行数据库初始化
create database dinky;
create user 'dinky'@'%' IDENTIFIED WITH mysql_native_password by 'dinky';
grant ALL PRIVILEGES ON dinky.* to 'dinky'@'%';
flush privileges;

3，docker部署

要配置好docker环境

docker run -d --restart=always -p 8888:8888 \
  --name dinky \
  -e DB_ACTIVE=mysql \
  -e MYSQL_ADDR=10.0.0.10:3306 \
  -e MYSQL_DATABASE=dinky \
  -e MYSQL_USERNAME=dinky \
  -e MYSQL_PASSWORD=dinky \
  -v /opt/module/docker-dinky/lib:/opt/dinky/customJar/ \
  --add-host hadoop102:10.0.0.12 \
  --add-host hadoop103:10.0.0.4 \
  --add-host hadoop104:10.0.0.10 \
  -e TZ="Asia/Shanghai" \
  dinkydocker/dinky-standalone-server:1.1.0-flink1.19

参数解释：

  -e DB_ACTIVE=mysql \
  -e MYSQL_ADDR=10.0.0.10:3306 \
  -e MYSQL_DATABASE=dinky \
  -e MYSQL_USERNAME=dinky \
  -e MYSQL_PASSWORD=dinky \

指定元数据库信息，配置属性填自己数据库配置，dinky会自动建表

-v /opt/module/docker-dinky/lib:/opt/dinky/customJar/

是将一些外部依赖项映射到容器内部，这块主要是flink与hadoop的依赖，flink-sql-client依赖（非必要），mysql连接器依赖（必要），flink操作paimon的依赖

--add-host hadoop102:10.0.0.12 \   
--add-host hadoop103:10.0.0.4 \   
--add-host hadoop104:10.0.0.10 \

这块是因为我部署的是hdfs，将各节点host加到容器内部，方便dinky访问

4，测试访问

webui：http://部署机器的IP:8888/

云主机部署要开通相应的端口访问

默认用户名/密码是：admin/dinky123!@#