Flink开发环境搭建操作手册
Flink环境的搭建我主要从两个方面的加以说明,一方面是Flink环境的安装,包括IDEA安装,Scala安装,Maven安装;另一方面是Flink的项目开发流程,包括Flink项目创建,编码,导出jar包。
一 Flink环境的安装
1 IDEA安装
1.1 IDEA简介
IDEA是JetBrains公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主。当前市面上还有另一款集成开发环境Eclipse也比较出色,我们选择IDEA的原因是因为用它编码效率,从环境集成,代码智能,代码调试,代码重构的角度上看是这样。
1.2 IDEA安装
整个安装过程比较简单,点击安装包exe文件,一直下一步下一步就好了。我通过百度搜了一篇IDEA的下载地址,并提供了注册码。但是我安装后输入注册码,发现并没有永久激活,所以就暂时用了试用期30天。大家可以参考下程提供的破解方式。
IDEA安装参考网址:https://www.jianshu.com/p/09c9afae9a05
2 Maven安装
2.1 Maven 简介
Maven是一个项目管理工具,它常用于解决项目开发时的环境依赖。比如当我们写java程序时,依赖一些flink等三方库文件来实现自己的逻辑,我们只需配置好maver环境,Maven就可以自动地帮我们导入依赖包,所以使用Maven能使我们的开发更加方便快捷。
2.2 Maven安装
它的安装也比较简单,就是将一个压缩包解压后,然后将其路径配置到系统环境变量里面。为了优化使用,再把源地址修改为阿里的源即可,仓库地址可不修改。
Maven安装参考网址::https://blog.youkuaiyun.com/a805814077/article/details/100545928
3 Scala环境安装
3.1 Scala简介
Scala是一门软件开发语言,跟java语言类似,它也是基于JDK运行的,它最显著的一个特点是支持链式编程,所以代码非常简洁。
3.2 Scala安装
安装Scala的的方式有两种,一种是通过IDEA上通过插件的方式选择Scala进行安装,另一种是自己再网上下载安装包,然后在IDEA中自己手动导入,我用的是第二种方式实现。我们在该网站上下载对应IDEA的scala安装包,并将其路径导入环境变量。
IDEA依赖的scala包下载地址:https://plugins.jetbrains.com/plugin/1347-scala/update/59388
我们也把scala环境安装到本地,可以不依赖IDEA环境直接手动编译源码并运行,安装方式是把压缩包解压后把路径配置到环境变量中,同时也把linux的scala环境也安装上。
scala语言包载地址:
https://www.scala-lang.org/download/2.11.12.html
二 Flink 项目开发流程
1 Flink项目创建
打开IDEA环境,依次点击File->New->Project->Maven->GroupId-> ArtifactId->Finish即可创建一个工作目录,接下来我们就可以在下面创建项目模块了。
2 Flink项目编码
2.1 创建Java项目
2.1.1 右键项目->New->Module->Java>Finish
2.1.2 右键Module->Add Framwork Support->Maven->OK
2.1.3 右键Java->New->Javaclass->Name->OK
2.1.4 导入pom.xml 配置
2.2创建Scala项目
2.2.1 右键项目->New->Module->Scala->Finish
2.2.2 右键Module->Add Framwork Support->Maven->OK
2.2.3 右键Java->New->Scalaclass->Object->Name->OK
2.2.4 导入pom.xml 配置
3 输出jar包
3.1 设置jar包配置
选择File->Project structure->Artifacts->Add->Module->Class->OK
3.2 导出jar包
选择Build->Build Artifacts->Module->Build
4 测试jar包
4.1 Flink的Web页面的方式提交
通过Flink的Web页面的方式提交jar包,运行的时候选择该包并制定参数即可运行,输入参数和输出参数都可以在运行时配置。
4.2 终端方式提交
提交运行时通过命令:bin/flink run -c classname jarname的方式运行
总结
这是从环境安装,项目创建,编码,测试的整个流程,大家可参照这个思路来,但是这份文档还是写的不够细致,等收集到问题后下次版本再改善。