StreamPark安装部署与部署Flink程序

LonelyProgramme

于 2025-02-28 15:44:16 发布

阅读量1.1k

点赞数 15

CC 4.0 BY-SA版权

文章标签： flink 大数据 StreamPark

本文链接：https://blog.youkuaiyun.com/LonelyProgramme/article/details/145925363

前言: 我自己在本地开发时,是可以运行的,但是我打完jar包就不能运行.因为我的程序依赖我用的是外部提供的,程序在运行时告诉我依赖冲突.解决这个问题搞了好久太麻烦了,于是我采用了StramPark工具,他不仅能自己构建项目,项目的依赖问题他也会自己解决,可以说只要你本地开发没问题,他就不会就问题.他还有程序警告的功能.

一、部署环境

需要JAVA和Maven与Flink环境,不支持window系统

StreamPark1.2.2之前(包含)的版本,只支持scala2.11的版本,使用Flink时要检查对应的scala版本1.2.3之后(包含)的版本, 支持scala2.11 和scala2.12两个版本 .

二、安装部署

我们这里部署的是StreamPark_2.12-2.1.4版本,这里的Maven和Flink你们自己部署吧.上传解压的过程就不展示了.解压完成后进入StreamPark的conf目录下,修改配置文件.注意: 绿色代表需要配置的内容,且变量名称与值之间需要有空格

vim config.yaml

datasource:
dialect: mysql #h2, mysql, pgsql #配置元数据使用的数据库,这里使用MySql数据库
# if datasource.dialect is mysql or pgsql, you need to configure the following connection information
# mysql/postgresql connect user
username: root #登入mysql的用户名
# mysql/postgresql connect password
password: 123456 #密码
# mysql/postgresql connect jdbcURL
# mysql example: datasource.url: jdbc:mysql://localhost:3306/streampark?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=GMT%2B8
# postgresql example: jdbc:postgresql://localhost:5432/streampark?stringtype=unspecified
url: jdbc:mysql://node101:3306/streampark?useSSL=false&useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=GMT%2B8

streampark:
workspace:
# Local workspace, storage directory of clone projects and compiled projects,Do not set under $APP_HOME. Set it to a directory outside of $APP_HOME.
local: /home/bduser/modules/streampark_workspace #本地工作区，克隆项目和编译项目的存储目录，不要在$APP_HOME下设置。将其设置为$APP_HOME之外的目录。

# The root hdfs path of the jars, Same as yarn.provided.lib.dirs for flink on yarn-application and Same as --jars for spark on yarn
remote: hdfs://node101:8020/streampark #jar的根hdfs路径
proxy:
# lark proxy address, default https://open.feishu.cn
lark-url:
# hadoop yarn proxy path, e.g: knox process address https://streampark.com:8443/proxy/yarn
yarn-url:
yarn:
# flink on yarn or spark on yarn, monitoring job status from yarn, it is necessary to set hadoop.http.authentication.type
http-auth: 'simple' # default simple, or kerberos
# flink on yarn or spark on yarn, HADOOP_USER_NAME
hadoop-user-name: bduser #登入hadoop的用户名