基于Yarn的Flink工程部署流程

最新推荐文章于 2024-09-29 14:20:30 发布

原创

最新推荐文章于 2024-09-29 14:20:30 发布 · 360 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文详细介绍了如何在IDEA中使用shadowjar打包Flink工程，通过Yarn的application模式发布，以及如何查看和解决job运行过程中的日志报错。主要涉及配置包括：checkpoint存储路径、类加载、HDFS目录权限、配置文件分布、资源管理、环境变量设置和依赖库的管理。

1.idea上的工程打jar

通过shadowjar进行fat-jar打包，笔者采用低版本时有报错，会有mainClassName找不到或与grdale不兼容的一些其他的报错，因为自己gradle用的版本是6.8.3，所以当前采用的是shadowjar 5.2.0 版本
自己的gradle配置如下：

buildscript {
   
   
    repositories {
   
   
        jcenter() 
    }
    dependencies {
   
   
        classpath 'com.github.jengelman.gradle.plugins:shadow:5.2.0'
    }
}

plugins {
   
   
    id 'java'
    id 'application'
    id 'com.github.johnrengelman.shadow' version '5.2.0'
}

group = 'com.xxx.log'
version = '0.1-SNAPSHOT'
mainClassName = 'com.xxx.log.KafkaConsumer'
description = """xxx Flink Job"""

ext {
   
   
    javaVersion = '1.8'
    flinkVersion = '1.11.2'
    scalaBinaryVersion = '2.11'
    hiveVersion= '2.1.1'
    slf4jVersion = '1.7.7'
    log4jVersion = '1.2.17'
}


sourceCompatibility = javaVersion
targetCompatibility = javaVersion
tasks.withType(JavaCompile) {
   
   
    options.encoding = 'UTF-8'
}

applicationDefaultJvmArgs = ["-Dlog4j.configuration=log4j.properties"]

repositories {
   
   
    repositories