基于Yarn的Flink工程部署流程

c_jhsp

于 2021-06-24 10:21:03 发布

阅读量339

点赞数

CC 4.0 BY-SA版权

分类专栏：后台指标分析应用搭建文章标签： flink

本文链接：https://blog.youkuaiyun.com/c_jhsp/article/details/118177052

本文详细介绍了如何在IDEA中使用shadowjar打包Flink工程，通过Yarn的application模式发布，以及如何查看和解决job运行过程中的日志报错。主要涉及配置包括：checkpoint存储路径、类加载、HDFS目录权限、配置文件分布、资源管理、环境变量设置和依赖库的管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.idea上的工程打jar

通过shadowjar进行fat-jar打包，笔者采用低版本时有报错，会有mainClassName找不到或与grdale不兼容的一些其他的报错，因为自己gradle用的版本是6.8.3，所以当前采用的是shadowjar 5.2.0 版本
自己的gradle配置如下：

buildscript {
   
   
    repositories {
   
   
        jcenter() 
    }
    dependencies {
   
   
        classpath 'com.github.jengelman.gradle.plugins:shadow:5.2.0'
    }
}

plugins {
   
   
    id 'java'
    id 'application'
    id 'com.github.johnrengelman.shadow' version '5.2.0'
}

group = 'com.xxx.log'
version = '0.1-SNAPSHOT'
mainClassName = 'com.xxx.log.KafkaConsumer'
description = """xxx Flink Job"""

ext {
   
   
    javaVersion = '1.8'
    flinkVersion = '1.11.2'
    scalaBinaryVersion = '2.11'
    hiveVersion= '2.1.1'
    slf4jVersion = '1.7.7'
    log4jVersion = '1.2.17'
}


sourceCompatibility = javaVersion
targetCompatibility = javaVersion
tasks.withType(JavaCompile) {
   
   
    options.encoding = 'UTF-8'
}

applicationDefaultJvmArgs = ["-Dlog4j.configuration=log4j.properties"]

repositories {
   
   
    repositories