Flink On Zeppelin Remote模式环境搭建

最新推荐文章于 2024-05-31 08:30:00 发布
最新推荐文章于 2024-05-31 08:30:00 发布
阅读量919 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： FlinkOnZeppelin Flink Zeppelin Remote模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/litlit023/article/details/111474588
本文详细介绍了如何在Zeppelin中配置Flink的Remote模式，包括需要设置的参数如FLINK_HOME、flink.execution.mode等，以及如何在Remote模式下运行Flink demo示例，通过连接到已有的Flink standalone集群进行作业提交和日志查看。

目录

1. 概述

2. Zeppelin Remote 模式概述

3. 运行flink demo示例

4. 参考资料

1. 概述

Flink on Zeppelin环境的Remote模式，与Local模式基本是一样的，只是Remote模式需要额外启动一个Flink集群，并设置以下4个参数即可：

FLINK_HOME

flink.execution.mode

flink.execution.remote.host

flink.execution.remote.port

 

2. Zeppelin Remote 模式概述

      Flink的Remote模式会连接一个已经创建好的Flink集群，一般是Flink standalone集群。除了配置FLINK_HOME 和 flink.execution.mode外，还需要配置flink.execution.remote.host和flink.execution.remote.port来指定JobManager的地址。

例如，在 Flink On Zeppelin Local模式环境搭建&n

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink On Zeppelin Local模式环境搭建
litlit023的专栏
12-19 446
目录 1. 下载相关jar包 2. 启动一个flink local模式的集群 3.配置 Flink Interpreter 1. 下载相关jar包 flink-hadoop-compatibility flink v.1.12下载地址 https://repo1.maven.org/maven2/org/apache/flink/flink-hadoop-compatibility_2.11/1.12.0/ flink-shaded-hadoop-2-uber下载地址 https://r..
Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用
howard2005的专栏
04-20 1753
搭建Flink on Yarn集群，几种方式运行Flink应用
真实集群下-flink shell的remote模式实验记录
微电子学与固体电子学-俞驰
06-10 591
集群结构: Desktop和Laptop总共两台。 实验步骤: ①start-cluster.sh ②start-scala-shell.sh remote desktop 8082 这里上面的就是flink的web ui和端口。 因为8081和spark冲突，为了同时使用spark，所以我把8081改成8082了 完整代码如下(直接粘贴到shell模式下即可): val textStreaming = senv.fromElements("good good study,d..
zeppelin 脚本一直在运行_Zeppelin原理 | Get started with Flink on Zeppelin (1)
weixin_36465073的博客
01-05 324
Flink在国内阿里巴巴的带领下发展的如火如荼。一直有人在Zeppelin社区问能否在Zeppelin里使用Flink。现在终于有了进展了，从Zeppelin 0.9开始将正式支持Flink 1.10。Flink是一个批流统一的计算引擎，本文将从第一个wordcount的例子为起点来讲述如何在Zeppelin中使用Flink。准备工作在Zeppelin中使用Flink，需要下载最新的Ze...
flink远程提交
qq_29499107的博客
01-29 1915
a
Flink Scala Shell：使用交互式编程环境学习和调试Flink 三种模式 local remote yarn
0x8g1T9E-
03-08 3132
交互式编程环境：REPL 当前最著名的交互式编程环境莫属Jupyter Notebook了，程序员可以启动一个交互的Session，在这Session中编写代码、执行程序、获取结果，所见即所得。 交互式编程的优势包括： 快速启动一个程序：程序员不需要“编译、打包、执行”这一套复杂过程，只需要开启一个交互Session，敲下代码，直接得到结果，非常适合验证一段代码的结果。 直接获得程序反馈：使用print，可以在交互环境中直接得到程序结果，无需将输出导出到文件或其他位置。 程序员敲入几行程序命令...
flink的onYarn模式环境搭建
qw3276425405的博客
05-27 1383
一.onYarn模式 把资源管理器交给yarn模式进行管理 1.两种运行模式 1）session-cluster模式 session：会话，开辟一块新的公共的空间 先启动集群，直接向yarn申请空间，资源（session）保持不变，这个集群会常驻在yarn的集群中，不需要时进行手动停止，job任务可以向这个session提交，所有任务共享这个session，如果资源用完，需要等待之间的任务执行完毕释放资源才可以使用。 例：有100个工人，装修公司有5家，a公司有30人，b公司有10人等，a公司不
flink on zeppelin
大数据技术分享中心
06-18 927
一.什么是 zeppelin Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。后台支持接入多种数据处理引擎，如flink，spark，hive等。支持多种语言： Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。 开发者可以通过实现更多的解释器来为Zeppelin添加数据引擎。官方支持的执行引擎用一幅图可以清晰描述执行引擎的作用就是执行笔记中的与引擎相对应的代码，不同的引擎也会有不同
Flink SQL Cookbook on Zeppelin搭建相关依赖
最新发布
12-24
搭建Flink SQL Cookbook on Zeppelin环境涉及到的具体依赖项有flink-1.12.1和flink-faker-0.2.0.jar，前者是Flink的运行时依赖，后者是一个用于生成测试数据的库。同时还需要flink-sql-cookbook-on-zeppelin-main，...
Flink系列三：Flink架构、独立集群搭建及Flink on YARN模式详解
weixin_52134189的博客
05-31 3726
Flink架构,Flink独立集群搭建与使用,Flink on yarn的三种部署模式(Application,Per-Job Cluster,Session )
remote通信（激活模式）
10-21
remoting实现分布式通信，常用的客户端及服务端激活模式，及remoting的承载方式
Flink Remote Shuffle 开源：面向流批一体与云原生的 Shuffle 服务
Ververica的博客
11-30 1289
▼ 关注「Apache Flink」，获取更多技术干货▼FlinkRemote Shuffle 正式开源作为支持 Flink 流批一体与云原生的重要组成部分，Flink Remote ...
remote方法
chijun7772的博客
11-21 480
http://wiki.jikexueyuan.com/project/intellij-idea-tutorial/remote-debugging.html 转载于:https://m...
Zeppelin 搭建不是那么简单
Nougats的博客
07-21 1027
1 export SPARK_HOME=/usr/local/spark export HADOOP_CONF_DIR=/usr/local/hadoop2 集成hbase，添加依赖 org.apache.hbase:hbase-client:1.3.1 集成mysql，添加依赖 mysql:mysql-connector-java:5.1.38 3 java.lang.NoSuc
【Flink】Flink Remote Shuffle 开源：面向流批一体与云原生的 Shuffle 服务
九师兄
03-27 757
1.概述 转载：Flink Remote Shuffle 开源：面向流批一体与云原生的 Shuffle 服务 2.开源 作为支持 Flink 流批一体与云原生的重要组成部分，Flink Remote Shuffle 今天正式开源了： https://github.com/flink-extended/flink-remote-shuffle Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现，本文后续将详细介绍 Flink Remote Shuf.
.Net MVC Validation之Remote 模式
foreverhot1019的博客
09-27 458
CusBusInfo.cs         [Key]         [DatabaseGenerated(DatabaseGeneratedOption.Identity)]         public int Id { get; set; }         [Display(Name = "业务伙伴代码")]         [Required(ErrorMessage = "业务伙...
使用zeppelin学习Flink
happytree001的博客
03-04 2109
一、什么是zeppelin zeppelin是一个基于web的notebook， 二、下载安装zeppelin 2.1 下载 http://zeppelin.apache.org/download.html 第一个是完整安装包，第二个是包含了Spark的解释器，其他解释器需要通过脚本进行在线下载，我这选择第一个完整版，直接下载。点击后，将进入如下下载页面，选择一个镜像点下载即可。 2.2 安装 #直接解压即可，这里解压到/opt目录下 $ sudo tar xf zeppeli.
分布式事务 同库模式 remote模式
fei33423的专栏
05-25 1066
父文章 如何成为一名架构师,架构师成长之路_个人渣记录仅为自己搜索用的博客-优快云博客_架构师成长之路 文章摘要：原来大型分布式/微服务系统中解决数据一致性问题，居然是通过…… 一、为什么要使用分布式事务—2PC？ 传统事务是使用数据库自身的事务属性（ACID），而数据库自身的事务属性是局限于当前实例，不能实现跨库。而对于大型分布式/微服务集群系统中，不仅存在着跨库的事务，还存在很多不同系统/服务之间的RPC调用，这种调用往往也需要保证业务以及数据的一致性。因此，有必要使用一种分布式事务框...
Zeppelin可视化组件搭建
weixin_47295112的博客
10-12 895
搭建zeppelin，连接hive
IDEA中Flink开发环境搭建与测试详解
"本文档详细介绍了如何在IntelliJ IDEA中搭建Flink开发环境并进行测试。首先，作者强调了IDEA作为Java集成开发环境在Flink项目中的重要性，因为其强大的功能和丰富的插件支持能提升开发效率。文章开始于配置IDEA的...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值