CDH6配置Flink(编译安装)

最新推荐文章于 2024-03-01 12:00:20 发布

雷雷飘过

最新推荐文章于 2024-03-01 12:00:20 发布

阅读量1.9k

点赞数 1

本文链接：https://blog.youkuaiyun.com/qq_31886877/article/details/108485374

版权

本文档详细介绍了在CDH 6.1.1环境下，如何从源码编译Flink 1.10.1，包括安装Maven，编译flink-shaded，编译Flink源码，制作flink-parcel文件，配置并激活parcel，部署Flink-yarn服务，以及登录Flink Web UI的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、环境

CDH 6.1.1(Hadoop 3.0.0)、Flink 1.10.1、Centos7.4、Maven3.6.3、Scala-2.12和CDH的原生jdk1.8

二、安装包

1.flink1.10.1 tar包

https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-src.tgz

其他版本可以通过该方法下载资源

在这里插入图片描述

2.flink-shaded

https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-shaded-10.0/flink-shaded-10.0-src.tgz

3.Maven版本

https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

三、安装Maven

1.下载并解压maven的安装包

命令： tar -xf apache-maven-3.6.3-bin.tar
在这里插入图片描述

2.配置maven环境变量

命令：1.vi /etc/profile

2.source /etc/profile

在这里插入图片描述

并查看maven是否配置成功，命令：mvn --version

在这里插入图片描述

3.修改setting.xml文件(conf目录下)

配置内容如下(注意可能需要删掉前后的标签)：

<mirrors>
    <mirror>
        <id>alimaven</id>
        <mirrorOf>central</mirrorOf>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
    </mirror>
    <mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>central</id>
        <name>Maven Repository Switchboard</name>
        <url>http://repo1.maven.org/maven2/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>repo2</id>
        <mirrorOf>central</mirrorOf>
        <name>Human Readable Name

最低0.47元/天解锁文章