Flink1.10及1.11编译

最新推荐文章于 2022-05-11 20:39:57 发布

西北一个蛋蛋

最新推荐文章于 2022-05-11 20:39:57 发布

阅读量297

点赞数

CC 4.0 BY-SA版权

分类专栏： flink 文章标签： flink

本文链接：https://blog.youkuaiyun.com/justchnmm/article/details/109688606

flink 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何编译Flink 1.10.1源码，解决Hadoop依赖问题，并转向Flink 1.11的HADOOP_CLASSPATH配置。详细步骤包括排除flink-shaded中的commons-cli依赖，指定Hadoop版本，以及部署和迁移注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink-1.10.1编译

源码下载

国内GitHub下载flink的源码非常慢，这里建议通过gitee.com的flink mirror来下载, 另外1.10版本的flink对于Hadoop的依赖还没有完全脱离，所以如果需要指定版本的Hadoop，则需要首先编译flink-shaded ：

下载flink-shaded:

git clone --branch release-9.0 git@github.com:apache/flink-shaded.git flink-shaded-9.0

说明：由于1.10.1版本的flink pom中依赖的shaded版本是9.0的因此我们需要下载release-9.0的shaded源码。

下载flink:

git clone --branch release-1.10.1 git@gitee.com:mirrors/apache-flink.git flink-1.10.1

编译：

flink-shded编译，安装依赖 ：
需要先排除掉flink-shaded-hadoop-2-uber/pom.xml中：commons-cli依赖，因为flink-client中已经包含了不同版本的commons-cli依赖，不然运行flink run时发生：NoSuchMethodError:org.apache.commons.cli.Option#builder(java.lang.String)

<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-shaded-hadoop-2</artifactId>
			<version>${hadoop.version}-9.0</version>
			<exclusions>
				<exclusion>
					<groupId>commons-cli</groupId>
					<artifactId>commons-cli</artifactId>
				</exclusion>
			</exclusions>
		</dependency>

 mvn clean install -DskipTests -Dfast -Dhdoop.version={你需要的Hadoop版本}

这里的Hadoop版本你需要提前在maven仓库中确定是存在的例如:2.6.0-cdh5.16.0

flink编译 ：

mvn clean package -Pvendor-repos -DskipTests -Dfast -Dhadoop.version={你编译flink-shaded时指定的Hadoop版本} -Dflink.shaded.version=9.0

编译过程中的问题：

正常情况下按照以上步骤应该不会出问题，只是编译过程会很耗时.

clean的权限问题：
可以先通过sudo mvn clean，然后再执行上面的flink编译命令，最好不要直接在上面命令前加上sudo,直接加会出现仓库切换导致依赖加载不到问题，至少我的Mac OSX系统会这样加上sudo回去/var/root/.m2下面的仓库中找依赖，而mvn install有安装到的是系统的当前登录用户的~/.m2的仓库中，要不然就所有的mvn install前都加上sudo

flink 部署

直接将根目录下的build-target目录下的类容复制到目标位置后，将flink-shaded的flink-shaded-hadoop-2-uber的target目录下的编译包放入flink的lib中即可。

flink1.11的不同支持

flink 1.11之后官方已经不再支持flink-shaded方式提供Hadoop的依赖：
官方建议通过HADOOP_CLASSPATH环境变量的方式提供Hadoop的依赖
具体配置方式：
具体配置方式：

vim ~/.bash_profile
export HADOOP_HOME=xxxxxxx ##需改真实路径
export HADOOP_CLASSPATH=`hadoop classpath` ##次为固定写法，不用改
source ~/.bash_profile

3.验证：

cd /你的flink目录下
./bin/flink run examples/streaming/WordCount.jar

祝你成功!