Dinky项目部署指南：从零开始搭建实时计算平台

Dinky项目部署指南：从零开始搭建实时计算平台

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky

前言

Dinky作为一款开源的实时计算平台，以其轻量级、解耦性和多集群支持能力受到开发者青睐。本文将详细介绍如何在Linux环境下完成Dinky的完整部署流程，帮助开发者快速搭建自己的实时计算平台。

环境准备

在开始部署前，请确保已具备以下环境：

• Linux操作系统（推荐CentOS 7+）
• MySQL数据库（5.7或8.0版本）
• Java运行环境（JDK 8+）
• 可选：Nginx服务器

部署步骤详解

1. 解压安装包

首先将下载的Dinky安装包解压到目标目录：

tar -zxvf dlink-release-{version}.tar.gz
mv dlink-release-{version} dlink
cd dlink

Dinky设计为独立部署，不依赖外部Hadoop或Flink环境，这使得部署过程更加灵活简单。

2. 数据库初始化

Dinky使用MySQL作为后端存储，数据库初始化是部署的关键步骤。

2.1 创建数据库和用户

根据MySQL版本选择不同的创建方式：

MySQL 5.x版本：

CREATE DATABASE dlink;
GRANT ALL PRIVILEGES ON dlink.* TO 'dlink'@'%' IDENTIFIED BY 'dlink' WITH GRANT OPTION;
FLUSH PRIVILEGES;

MySQL 8.x版本：

CREATE DATABASE dlink;
CREATE USER 'dlink'@'%' IDENTIFIED WITH mysql_native_password BY 'dlink';
GRANT ALL PRIVILEGES ON dlink.* TO 'dlink'@'%';
FLUSH PRIVILEGES;

2.2 执行初始化脚本

首次部署执行完整SQL脚本：

mysql -h 主机名 -udlink -pdlink
use dlink;
source /opt/dlink/sql/dinky.sql

升级部署需按版本顺序执行升级脚本：

source /opt/dlink/sql/upgrade/${version}_schema/mysql/dinky_ddl.sql
source /opt/dlink/sql/upgrade/${version}_schema/mysql/dinky_dml.sql

3. 配置调整

修改Dinky的配置文件以连接MySQL数据库：

cd config/
vim application.yml

在配置文件中需要正确设置数据库连接信息，包括：

• 数据库URL
• 用户名和密码
• 连接池参数

4. 依赖管理（关键步骤）

Dinky需要Flink环境支持，需手动添加相关依赖：

mkdir plugins

将以下必要文件放入plugins目录：

• Flink核心jar包（flink-dist）
• Flink Table API相关jar包
• 连接器jar包
• 序列化相关jar包

特别注意事项：

• 如果使用YARN模式，需要添加flink-shade-hadoop包
• 对于Hadoop 3+环境，建议编译dlink-client-hadoop.jar替代uber包

5. 版本适配（重要）

Dinky需要与Flink版本匹配，主要关注三个关键组件：

1. dlink-catalog-mysql
2. dlink-client
3. dlink-app

检查lib目录下的jar包版本是否与使用的Flink版本一致，如不一致需从extends和jar目录中获取对应版本替换。

6. Nginx配置（可选）

虽然Dinky可以不依赖Nginx运行，但生产环境建议配置Nginx作为反向代理：

yum -y install epel-release
yum -y install nginx
systemctl enable nginx
service nginx start

配置Nginx（/etc/nginx/nginx.conf）：

server {
    listen       9999;
    server_name  your_hostname;
    
    location / {
        root   /path/to/dinky/html;
        index  index.html index.htm;
        try_files $uri $uri/ /index.html;
    }
    
    location ^~ /api {
        proxy_pass http://Dinky后端地址:8888;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

配置完成后重启Nginx：

systemctl restart nginx
nginx -t
nginx -s reload

7. 启动与停止

使用提供的脚本管理Dinky服务：

# 启动
sh auto.sh start

# 停止
sh auto.sh stop

# 重启
sh auto.sh restart

# 查看状态
sh auto.sh status

默认管理员账号：admin/admin

部署后检查

部署完成后，建议进行以下验证：

1. 检查日志文件是否有错误
2. 访问Web界面确认功能正常
3. 测试连接Flink集群
4. 执行简单SQL任务验证功能完整性

常见问题解决

1. 数据库连接失败：检查application.yml配置，确认数据库服务可访问
2. 版本不匹配：确保所有组件版本一致，特别是Flink相关jar包
3. 权限问题：确保运行用户对Dinky目录有读写权限
4. 端口冲突：检查8888端口是否被占用

最佳实践建议

1. 生产环境建议使用Nginx作为反向代理
2. 定期备份数据库，特别是升级前
3. 为不同Flink版本维护独立的plugins目录
4. 监控Dinky服务运行状态和资源使用情况

通过以上步骤，您应该能够成功部署Dinky实时计算平台。部署完成后，可以开始配置Flink集群连接和开发实时计算任务。

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky