安装环境:
- java 8
- Scala 2.12
- haddop 2.7.7
安装Cygwin、下载Flink1.14.5
Cygwin下载:https://www.cygwin.com/
镜像下载:https://mirrors.cloud.tencent.com/apache/flink/
启动
Cygwin terminal启动flink安装目录下的bin/start-cluster.sh
bash start-cluster.sh
问题:
1. Improperly specified VM option 'MaxMetaspaceSize
config.sh文件注释掉改行
# export JVM_ARGS="${JVM_ARGS} ${jvm_params}
2. Hadoop is not in the classpath/dependencies
Flink访问HDFS需要两个jar包依赖,Flink自身没有,需要自己放进去。
flink-shaded-hadoop-3-3.1.1.7.2.9.0-173-9.0.jar
commons-cli-1.5.0.jar
3. 8081端口被占用,修改Flink默认端口
修改配置文件conf里面的flink-conf.