centos7 的flink安装

环境配置

​ flink 1.11 之后开始支持hadoop3

​ flink-1.13.2-bin-scala_2.12.tgz

解压

tar xvf flink-1.13.2-bin-scala_2.12.tgz -C /opt/software/...

配置环境变量

#flink
export FLINK_HOME=/opt/software/flink-1.13.2
export PATH=$FLINK_HOME/bin:$PATH
#flink on yarn
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意点

配置:yarn-site.xml

yarn.scheduler.maximum-allocation-mb  		>=1600
yarn.nodemanager.resource.memory-mb				>=1600

手动创建提交任务文件夹:myjobs

启动关闭

cd /opt/software/flink-1.13.2/bin

start-cluster.sh

stop-cluster.sh

服务检查

jps有两个服务:

TaskManagerRunner

StandaloneSessionClusterEntrypoint

测试

web访问;http://192.168.6.130:8081/

yarn-session.sh -nm wordCount -n 2
yarn application --list
#如果报错是Exception in thread "main" java.lang.NoClassDefFoungError:org/apache/hadoop/yarn/exception/YarnException

#解决方法
下载flink-shaded-hadoop-2-uber-2.7.5-7.0的jar包,导入到flink/lib目录下
### 安装 Apache Flink 为了在 CentOS 7 上成功安装并配置 Apache Flink,需遵循一系列特定的操作指南。Flink 是一个用于对无界和有界数据流进行有状态计算的框架和分布式处理引擎[^4]。 #### 下载与解压 Flink 首先应当访问官方网址获取最新稳定版的二进制文件包,并通过命令行工具将其下载到服务器上。接着利用 tar 命令解开压缩包至指定位置: ```bash tar -xzvf flink-1.16.0-bin-scala_2.12.tgz -C /opt/ ``` 此路径可以根据实际需求调整。完成上述步骤之后,建议创建软链接以便于后续升级维护工作: ```bash ln -s /opt/flink-1.16.0/ /opt/flink ``` #### 配置环境变量 为了让系统识别 Flink安装位置,需要编辑 `~/.bashrc` 文件或者 `/etc/profile.d/flink.sh` 文件来设置 FLINK_HOME 和 PATH 变量: ```bash export FLINK_HOME=/opt/flink export PATH=$FLINK_HOME/bin:$PATH ``` 使更改生效可以执行 source ~/.bashrc 或者重新登录 shell 终端会话。 #### 启动本地集群测试 当一切准备就绪后,可以通过简单的命令启动单节点开发模式下的迷你集群来进行初步验证: ```bash start-cluster.sh ``` 此时应该可以在浏览器中打开 http://localhost:8081 来监控这个小型集群的状态了。另外也可以尝试运行自带的例子程序以确认整个流程是否正常运作[^3]。 #### Hadoop集成注意事项 对于希望将计算结果保存到 HDFS 中的应用场景来说,确保所使用的 Flink 版本能够兼容目标 Hadoop 发行版非常重要。通常有两种方法实现这一点:一是替换 lib 目录中的 hadoop-common 库;二是借助 HADOOP_CLASSPATH 环境变量指向正确的依赖库路径[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值