Flink-1.18.1环境搭建

最新推荐文章于 2025-04-27 10:11:01 发布
原创 最新推荐文章于 2025-04-27 10:11:01 发布 · 2.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

本文档详细介绍了如何下载并安装Flink 1.18.1，包括设置环境变量、修改配置参数、避免启动服务时的语法错误，以及如何访问和启动Flink的SQL客户端。

下载

下载flink安装包

Index of /dist/flink/flink-1.18.1

下载flink-cdc安装包

Release Release 3.0.0 · ververica/flink-cdc-connectors · GitHub

安装

添加环境变量

vi ~/.bash_profile

export FLINK_HOME=/home/postgres/flink/flink-1.18.1

export PATH=$PATH:$FLINK_HOME/bin

source ~/.bash_profile

参数修改

vi ${FLINK_HOME}/conf/flink-conf.yaml

rest.bind-address: 0.0.0.0

rest.address: 0.0.0.0

启动服务

不要用sh命令启动，因为这样看第三行报错：bin/config.sh: line 32: ` done < <(find "$FLINK_LIB_DIR" ! -type d -name '*.jar' -print0 | sort -z)'

第 32 行的语法在 sh 中是不支持的，会报语法错误；但是在 bash 中是没问题的。

sh st

最低0.47元/天 解锁文章
Flink系列之：Flink CDC深入了解MySQL CDC连接器
zhengzaifeidelushang的博客
01-31 9765
Flink系列之：Flink CDC深入了解MySQL CDC连接器
flink-connector-mysql-cdc：01 mysql-cdc础配置代码演示
QYmufeng的博客
12-04 1103
flink-connector-mysql-cdc 代码测试以及常见问题处理，扩展应用，生产及代码分析
Flink1.18.1在CentOS7下的安装和部署
laolitou_1024的博客
03-20 3017
本文是Flink1.18.1在CenOS7下的安装和部署的学习笔记，记录了基本的安装步骤及参数配置，给初学者避坑用。
Flink 1.18.1 部署与配置[CentOS7]
我要、发光_233
02-01 1879
【代码】Flink 1.18.1 部署与配置[CentOS7]
Flink1.18.1 Standalone模式集群搭建
后端开发
09-19 1854
本文将介绍如何在 Linux 服务器上搭建 Flink Standalone 集群，包含环境准备、配置修改和任务提交的步骤。在 Flink 集群中，各个节点之间需要免密登录。建议在每个节点上配置环境变量，方便使用 Flink 命令。从 Apache Flink 官方下载页面获取。，并在每台服务器上安装 JDK 8 以上版本。为了搭建高可用的 Flink 集群，需确保。，应能看到 Flink 的 Web UI。将安装好的 Flink 目录分发到。公钥生成后，默认存放在。
Flink 1.18.1的基本使用
我要、发光_233
02-01 1481
【代码】Flink 1.18.1的基本使用。
flink-1.13.6-bin-scala_2.12.tgz资源下载
05-30
通过这些文件，你可以搭建起一个本地的 Flink 集群，或者连接到远程集群进行作业提交和管理。 总的来说，`flink-1.13.6-bin-scala_2.12.tgz` 是一个全面的 Flink 发行版，适合开发者用于构建和部署实时数据处理应用...
flink-1.8.1-bin-scala_2.12.tgz
07-07
用户可以借此快速搭建 Flink 集群，利用其高效、可靠的流处理能力来处理实时数据，实现复杂的数据分析任务。无论是对于初学者还是资深开发者，深入理解和熟练掌握 Flink 都是现代大数据领域的重要技能。
在windows10上安装Flink-1.18.0
11-09 3615
Flink是以流处理为主，在流处理上支持批处理。Spark和Flink的主要区别就是计算模型不同，Spark采用了微批处理模型，而Flink采用了基于操作符的连续流模型。Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。,是针对流进行的处理. 它是Apache 旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。这样就说明启动成功了，可以进入提供的url界面。四、Flink与Spark的区别。四、设置环境Flink环境变量。二、Flink的特点。
部署flink1.18.1，需要添加相关jar文件，否则任务异常。
最新发布
weixin_46590500的博客
04-27 440
具体内容如下。
flink快速上手
m0_37979950的博客
03-18 794
项目生成后pom文件中mainCalss用于指定默认的启动作业类。此处表示任务由那个task节点处理，docker-flink输出会打印到控制台。启动子节点，可启动多个，改name就行，hosts的ip填入上述获取的ip。此处执行的预览根据作业的不同可能会有1~n个，点最后一个。此处使用docker构建运行环境，当前flink最新版本为1.18.1。确认包名是要执行的作业全路径类名。访问8081，此处启动了两个task。查看对应的task日志获取打印结果。执行环境、数据读入与数据转换。
flink1.18.1安装包
05-29
linux系统下的flink1.18.1安装包
【实战】Dinky 1.2.1集成Flink 1.18.1：Kubernetes全流程部署指南
sinat_28649711的博客
03-03 1032
USER root#下载dink jar并解压到与DokerFile 同级目录下#需要mysql 驱动# 添加创建软链接的命令注意：dinky 启动需要MySQL驱动。2.构建flink镜像Dockerfile#如有需要可自行加此配置。# 更改 s3-fs-hadoop 目录的所有者和所属组为 flink#如需kafak,可配置。
linux下安装flink 1.18
11-10 936
Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。进入flink的bin下面，输入./start-cluster.sh 就启动了。在flink下面创建data，在data下面创建zk和tmp。远程就可以访问了，访问地址是http://ip:8081。3.3、配置flink-conf.yaml。3.1、配置环境变量。
flink-cdc实时抽数（flink1.18）
weixin_45741311的博客
08-06 2319
基于flink1.18集群，实现毫秒级实时数据抽取，由Oracle或MySQL关系型数据库，将数据同步到doris数据仓库。建立基于doris的实时数据仓库。主要使用flink顶层的tableApi，SqlApi，使用简单，易于上手，基本通过flink-sql解决所有问题。
linux下安装flink 1.18集群
11-10 1022
Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。四、在flink下面创建logs，data，在data下面创建zk和tmp。五、修改 flink-conf.yaml配置文件。
Flink 1.18安装 及配置 postgres12 同步到mysql5.7（Flink sql 方式）
山巅
10-17 1483
解决方案：在flink的flink-conf.yaml文件中添加classloader.resolve-order: parent-first 改成parent-first，重启集群即可。flink 下载地址：https://flink.apache.org/downloads/下载 flink 安装包：flink-1.18.1-bin-scala_2.12.tgz。Flink sql 客户端开启： ./sql-client.sh。解决： 在flink -->lib 目录下增加如下jar。
【未解决】1.18版本flink导入mysql的maven依赖
thorn_s的博客
12-25 1062
尝试寻找flink-connector-jdbc的1.18快照版本。找不到flink-connector-jdbc的1.18版本依赖。目前使用1.17版本的并没有报错，可以正常使用。
Flink安装配置
weixin_44280043的博客
05-10 963
在file:/// 中，第一个斜杠 / 表示根目录，第二个斜杠 / 是用来分隔协议和路径部分的，第三个斜杠 / 是表示根目录下的一个目录。因此，file:/// 表示根目录下的一个目录，这种写法通常用于指定本地文件系统的路径。在文件路径中，file:/// 表示本地文件系统的协议前缀。在这种情况下，file:/// 是指定路径是基于本地文件系统的。但是，里面存放的大部分文件都是符号链接，指向目录/usr/lib/systemd/system/还可以在命令行查看flink任务。
flink1.18.1高可用集群
01-21
### Flink 1.8.1 HA集群搭建与配置 #### 准备工作 为了构建一个高可用(HA)的Flink集群，需先准备好基础环境。这包括但不限于Java运行环境(JRE)，因为Flink基于JVM之上运作[^1]。 #### 下载并解压Flink包 前往Apache Flink官方网站下载页面获取指定版本(即1.8.1版)压缩文件，并将其放置于服务器上适当位置后解压缩。此过程可通过命令行工具完成，例如`wget`用于下载以及`tar -zxvf flink-1.8.1-bin-hadoop27.tgz`来解压软件包。 #### 修改配置文件实现HA支持 编辑位于`$FLINK_HOME/conf/`目录下的`flink-conf.yaml`文件以启用ZooKeeper作为协调服务提供者从而达到高可用目的： ```yaml high-availability: zookeeper high-availability.zookeeper.quorum: zk01:2181,zk02:2181,zk03:2181 high-availability.storageDir: hdfs:///flink/recovery/ jobmanager.high-availability选项可根据实际需求调整为其他存储系统路径；此处仅作示例说明. ``` 上述设置指定了使用ZooKeeper管理元数据，并定义了三个节点组成的Quorum地址列表，同时设置了持久化状态信息所使用的HDFS路径。 #### 启动JobManager和服务进程 启动前确认所有依赖项均已就绪，特别是已正确安装并配置好ZooKeeper集群和HDFS分布式文件系统。之后可以依次执行如下Shell脚本来激活各个组件: ```bash ./bin/jobmanager.sh start cluster ``` 该指令会自动连接至先前设定好的ZooKeeper实例，并尝试选举出Leader角色负责接收提交的任务请求. #### 提交应用程序 当整个架构稳定运行后即可通过CLI客户端或者其他方式上传打包后的作业给定调度器处理。具体操作方法参见官方文档关于如何向集群发送任务的部分描述.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值