centos7 的flink安装

最新推荐文章于 2025-04-01 19:45:21 发布
最新推荐文章于 2025-04-01 19:45:21 发布
阅读量629 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 虚拟机 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/daimin1/article/details/119541907

centos7 的flink安装

环境配置

​ flink 1.11 之后开始支持hadoop3

​ flink-1.13.2-bin-scala_2.12.tgz

解压

tar xvf flink-1.13.2-bin-scala_2.12.tgz -C /opt/software/...

配置环境变量

#flink
export FLINK_HOME=/opt/software/flink-1.13.2
export PATH=$FLINK_HOME/bin:$PATH
#flink on yarn
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意点

配置：yarn-site.xml

yarn.scheduler.maximum-allocation-mb  		>=1600
yarn.nodemanager.resource.memory-mb				>=1600

手动创建提交任务文件夹：myjobs

启动关闭

cd /opt/software/flink-1.13.2/bin

start-cluster.sh

stop-cluster.sh

服务检查

jps有两个服务：

TaskManagerRunner

StandaloneSessionClusterEntrypoint

测试

web访问；http://192.168.6.130:8081/

yarn-session.sh -nm wordCount -n 2
yarn application --list
#如果报错是Exception in thread "main" java.lang.NoClassDefFoungError:org/apache/hadoop/yarn/exception/YarnException

#解决方法
下载flink-shaded-hadoop-2-uber-2.7.5-7.0的jar包，导入到flink/lib目录下
Flink1.18.1在CentOS7下的安装和部署
laolitou_1024的博客
03-20 2728
本文是Flink1.18.1在CenOS7下的安装和部署的学习笔记，记录了基本的安装步骤及参数配置，给初学者避坑用。
Flink 在centos下的安装及运行实例
技术博客
08-03 392
flink安装
01 在CentOS7中安装flink
杜海的博客
09-28 880
数据分两类，一类是静态处理，多做批量处理，属于OLAP，一类是流式数据，多做实时处理，属于OLTP。Spark Streaming属于微批处理，并非真正意义上的实时处理。本节将介绍一个顶级的流处理框架Flink。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际情况设置 jdk1.8已经安装并配置环境变量03-linux下jdk的安装 - 简书 scala已完成安装01 在CentOS7当中安装spark - 简书 fl
CentOS7.x安装flink
最新发布
2403_88666941的博客
04-01 163
Centos7环境下安装Flink1.20
weixin_42924611的博客
12-12 1245
Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN，但也可以设置作为独立集群甚至库运行。Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。Client 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。之后，客户端可以断开连接（分离模式），或保持连接来接收进程报告（附加模式）。
centos7安装flink(local,standallone,yarn)
weixin_40711982的博客
08-21 186
目录local模式Standallone节点分布Flink on Yarn启动历史服务器启动历史服务器flink其他部署模式yarn模式下部署单作业模式flink和应用模式flink集群应用模式单作业模式：standallone模式下应用模式下面flink部署模式默认是session模式，flink还有per-job,ap...
centos7 部署 Flink
LinTa0的博客
10-29 1013
centos7 部署 Flink
CentOS 7集群搭建Flink-1.18.0
liaodaoguo的博客
11-15 709
flink集群
centos7搭建flink1.18并以 standalone模式启动
weixin_42682982的博客
01-28 737
flink搭建
centos8 安装 flink 并测试 wordcount
qq_36431213的博客
12-26 1040
开发环境和所需软件 centos 8 java flink 安装 flink 我们选择安装的是 flink 目前的最新版本 1.9 版本 , 安装前请保证 java 已经正常安装 检查 java 是否安装 [vagrant@3b5a73745ce45650 ~]$ java -version openjdk version "1.8.0_232" OpenJDK Runtime Envir...
centos7安装flink集群_Flink 入门-本地安装
weixin_39828457的博客
11-30 496
flink1, 安装jdk ，java -version jdk版本8 or 112,下载安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.0/flink-1.11.0-bin-scala_2.11.tgz3，解压：$ tar -xzf flink-1.11.0-bin-scala_2.11.tgz$ cd flink...
Flink的运行(官方文档翻译)
Software's Blog
12-11 1027
列表内容1.下载 进入下载页面。如果你想让Flink与Hadoop进行交互（如HDFS或者HBase），请选择一个与你的Hadoop版本相匹配的Flink包。当你不确定或者只是想运行在本地文件系统上，请选择Hadoop 1.2.x对应的包。2.环境准备 Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是 Java 1.7.x或更高版本。接下
flink在centos7单机安装测试
qq_42718098的博客
03-11 1738
系统环境：CentOS7.8 flink版本：下载和Scala版本对应的 flink官方下载地址：https://flink.apache.org/downloads.html 查看jdk [root@localhost bin]# java -version java version "1.8.0_162" Java(TM) SE Runtime Environment (build 1.8.0_162-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.1
CentOS7安装flink1.17完全分布式
大头皮鞋的博客
04-03 3201
CentOS7安装flink1.17完全分布式。
【Linux】CentOS7安装Flink与防火墙设置
RiceVan的博客
03-15 1126
查看指定接口所属区域： firewall-cmd --get-zone-of-interface=eth0。查看所有打开的端口： firewall-cmd --zone=public --list-ports。查看区域信息: firewall-cmd --get-active-zones。查看是否拒绝： firewall-cmd --query-panic。取消拒绝状态： firewall-cmd --panic-off。拒绝所有包：firewall-cmd --panic-on。
centos7安装flink1.7.2（standalone cluster HA模式）
liuwei0376的专栏
05-21 1892
目录 一、服务规划 1.1 Requirements list： 1.2 Server部署角色列表： 1.3 部署方式 二、软件准备 1、 下载合适的Flink版本 三、 安装flink 1、 创建my_admin用户 2、3节点两两免密配置 3、解压flink安装文件 4、hdfs支撑...
centos7的flink安装过程
lhjllff12345的专栏
08-18 787
【代码】centos7的flink安装过程。
centos7下安装flink1.7集群
SuperHeroX的博客
09-11 369
环境准备 centos 5.7 jdk1.8 flink1.7 前期准备 首先要把centos7系统自带的openjdk卸载干净 rpm -qa | grep java rpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64 然后，安装jdk1.8配置环境变量 把三个ip地址配置的hosts文件中 配置flink 修改flink/conf/flink-conf.yaml(3台都需要修改，修改为主机的ip地址
centos7安装flink
03-11
### 安装 Apache Flink 为了在 CentOS 7 上成功安装并配置 Apache Flink，需遵循一系列特定的操作指南。Flink 是一个用于对无界和有界数据流进行有状态计算的框架和分布式处理引擎[^4]。 #### 下载与解压 Flink 首先应当访问官方网址获取最新稳定版的二进制文件包，并通过命令行工具将其下载到服务器上。接着利用 tar 命令解开压缩包至指定位置： ```bash tar -xzvf flink-1.16.0-bin-scala_2.12.tgz -C /opt/ ``` 此路径可以根据实际需求调整。完成上述步骤之后，建议创建软链接以便于后续升级维护工作： ```bash ln -s /opt/flink-1.16.0/ /opt/flink ``` #### 配置环境变量 为了让系统识别 Flink 的安装位置，需要编辑 `~/.bashrc` 文件或者 `/etc/profile.d/flink.sh` 文件来设置 FLINK_HOME 和 PATH 变量： ```bash export FLINK_HOME=/opt/flink export PATH=$FLINK_HOME/bin:$PATH ``` 使更改生效可以执行 source ~/.bashrc 或者重新登录 shell 终端会话。 #### 启动本地集群测试 当一切准备就绪后，可以通过简单的命令启动单节点开发模式下的迷你集群来进行初步验证： ```bash start-cluster.sh ``` 此时应该可以在浏览器中打开 http://localhost:8081 来监控这个小型集群的状态了。另外也可以尝试运行自带的例子程序以确认整个流程是否正常运作[^3]。 #### Hadoop集成注意事项 对于希望将计算结果保存到 HDFS 中的应用场景来说，确保所使用的 Flink 版本能够兼容目标 Hadoop 发行版非常重要。通常有两种方法实现这一点：一是替换 lib 目录中的 hadoop-common 库；二是借助 HADOOP_CLASSPATH 环境变量指向正确的依赖库路径[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值