Dinky项目部署指南：从零开始搭建大数据开发平台-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00594/article/details/148578064

Dinky项目部署指南：从零开始搭建大数据开发平台

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky

前言

Dinky作为一款开源的实时计算平台，为大数据开发者提供了便捷的Flink作业开发和管理能力。本文将详细介绍Dinky的完整部署流程，帮助开发者快速搭建自己的大数据开发环境。

一、环境准备

在开始部署Dinky之前，需要确保满足以下基本条件：

操作系统：支持Linux系统（推荐CentOS 7+或Ubuntu 16.04+）
Java环境：JDK 1.8+
数据库：MySQL 5.7+（用于存储元数据和作业信息）
网络：确保服务器网络通畅，能够访问所需资源

二、Dinky安装部署

1. 解压安装包

Dinky采用绿色安装方式，无需复杂的安装过程：

# 解压安装包
tar -zxvf dinky-release-{version}.tar.gz

# 重命名并进入目录
mv dinky-release-{version} dinky
cd dinky

2. 配置文件修改

Dinky的核心配置文件位于config/application.yml，主要需要配置数据库连接信息：

spring:
  datasource:
    url: jdbc:mysql://{mysql_host}:3306/dinky?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false
    username: dinky
    password: dinky
    driver-class-name: com.mysql.jdbc.Driver

3. 依赖管理

Dinky需要与Flink环境配合使用，需要特别注意依赖管理：

Flink版本适配：Dinky支持Flink 1.11到1.16多个版本，需要将对应版本的依赖放入plugins/flink${FLINK_VERSION}目录
Hadoop集成：如需与YARN集成，需要添加flink-shaded-hadoop依赖包

4. 目录结构说明

完整的Dinky项目目录结构如下：

├── auto.sh            # 启停脚本
├── config             # 配置文件目录
├── jar                # 适配不同Flink版本的JAR包
├── lib                # 核心依赖库
├── plugins            # 插件目录（按Flink版本分类）
└── sql                # 数据库初始化脚本

三、数据库初始化

1. 创建数据库

首先需要在MySQL中创建Dinky使用的数据库：

-- MySQL 5.x版本
CREATE DATABASE dinky;
GRANT ALL PRIVILEGES ON dinky.* TO 'dinky'@'%' IDENTIFIED BY 'dinky';
FLUSH PRIVILEGES;

-- MySQL 8.x版本
CREATE DATABASE dinky;
CREATE USER 'dinky'@'%' IDENTIFIED WITH mysql_native_password BY 'dinky';
GRANT ALL PRIVILEGES ON dinky.* TO 'dinky'@'%';
FLUSH PRIVILEGES;

2. 执行初始化脚本

使用Dinky提供的SQL脚本初始化数据库：

mysql -h {host} -udinky -pdinky dinky < sql/dinky.sql

四、服务启动与管理

Dinky提供了便捷的启停脚本：

# 启动服务（默认Flink 1.14版本）
./auto.sh start

# 指定Flink版本启动
./auto.sh start 1.15

# 停止服务
./auto.sh stop

# 重启服务
./auto.sh restart

# 查看服务状态
./auto.sh status

五、可选配置

1. Nginx反向代理（前后端分离部署）

如需实现前后端分离部署，可以配置Nginx：

安装Nginx：

yum -y install epel-release
yum -y install nginx

修改Nginx配置：

server {
    listen 9999;
    server_name your_domain;

    location / {
        root /path/to/frontend;
        index index.html;
        try_files $uri $uri/ /index.html;
    }

    location ^~ /api {
        proxy_pass http://backend_ip:8888;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Real-IP $remote_addr;
    }
}