Flink使用shell终端(local模式)

Flink-Local模式环境搭建 一、前置准备 CentOS7、jdk1.8、flink-1.10.1 想要完成本期视频中所有操作,需要以下准备: Linux下jdk的安装 Scala环境搭建-视频教程 大数据常用shell脚本之zk脚本编写-视频教程 二、环境搭建 2.1 下载并解压 下载 Flink 安装包,这里我下载的是flink-1.10.1-bin-scala_2.11.tgz。下载地址:https://flink.apache.org/zh/downloads.html # 解压 [xiaokang@hadoop ~]$ t 阅读详情

一、Linux nc命令

-l 开启监听模式,用于指定nc将处于监听模式。通常这样代表着为一个服务等待客户端来链接指定的接口。

-p <通信端口>:设置本地主机使用的通信端口。有可能会关闭。

-k <通信端口>:强制nc待命链接。当客户端从服务端断开连接后,过一段时间服务端也会停止监听。但通过选项-k可以强制服务器保持连接并继续监听端口。

二、使用shell终端(local模式)

Flink附带了一个集成的交互式Scala shell,它可以在本地模式和群集模式中使用。通过flink的scala-shell终端程序可以快速上手flink,并可以对简单的flink任务进行调试和测试。类似于Spark的shell终端。

要将shell与集成的flink集群一起使用,只需执行:bin/start-scala-shell.sh local。该命令集成了flink的执行环境,所以不需要启动flink集群。

Scala Shell支持batch和Streaming。启动后会自动预先绑定两个不同的执行环境。可以使用’benv’和’senv’变量来分别访问batch和Streaming环境。

./start-scala-shell.sh –help查看帮助信息,该命令支持remote和yarn集群模式,并且可以通过该命令来添加外部依赖的jar包。

  • 使用batch环境在Scala shell中执行WordCount

./start-scala-shell.sh local

print()命令会自动将指定的任务发送到JobManager执行,并在终端中显示计算结果。

也可以将结果写入文件。但是,在这种情况下,就需要调用execute,来运行程序:

benv.execute.(“MyProgram”)

注:只有local模式下才会把输出打印到终端,若是集群模式将不会打印到终端。

  • 使用Streaming环境在Scala shell中通过DataStream API计算WordCount

./start-scala-shell.sh local

注:在Streaming环境下,打印操作不会直接触发执行。

Flink Shell 入门教程:编程指南 本教程介绍了如何使用 Flink Shell 编写和执行简单的 Flink 程序。我们学习了如何安装和启动 Flink Shell,以及如何编写简单的数据转换和窗口计算程序。Flink Shell 提供了一个便捷的方式来快速验证和调试 Flink 作业,同时也是学习 Flink API 的良好起点。希望这个教程对你有所帮助! 阅读详情

相关推荐

流批一体计算引擎-3-[Flink]的本地模式Local和standalone模式

flink的安装

qq_20466211的博客 1809

Flink的部署模式:Local模式、Standalone模式、Flink On Yarn模式

Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。

积跬步,至千里。 7211

Ambari3.0集成Flink 2.2+Paimon1.4

Ambari 3.0集成Flink 2.2+Paimon1.4

docsz的博客 683

Flink(3):Flink安装部署之Local本地模式

0. 相关文章链接 1. Local本地模式 1.1. 原理 Flink程序由JobClient进行提交 JobClient将作业提交给JobManager JobManager负责协调资源分配和作业执行。资源分配完成后,任务将提交给相应的TaskManager TaskManager启动一个线程以开始执行。TaskManager会向JobManager报告状态更改,如开始执行,正在进行或已完成。 作业执行完成后,结果将发送回客户端(JobClient) 1.2. 操作 1)下载安装

yang_shibiao的博客 3200

【一】Android MediaPlayer整体架构源码分析 -【初始化和创建】

本系列文章分析的安卓源码版本:【Android 10.0 版本】 一、MediaPlayer的简单调用关键流程 【这只是一个简单使用过程示例】 // 此处变量声明省略 private void play() { // 先获取SurfaceHolder mSurfaceView = findViewById(R.id.surface_view); mSurfaceHolder = mSurfaceView.getHolder(); mSurfac

CloverLHao的博客 4347

昇腾AI处理器Ascend C编程:从C/C++基础到高性能算子开发实战

异构计算是提升AI算力效率的核心技术,通过在CPU之外引入专用处理器(如GPU、NPU)协同工作,实现大规模并行计算。其原理在于将计算密集型任务卸载到专用硬件,利用其高并行架构加速处理。技术价值在于突破传统CPU的算力瓶颈,为深度学习训练与推理提供强大动力,广泛应用于模型部署、科学计算和高性能计算场景。本文聚焦昇腾AI处理器的原生编程语言Ascend C,它基于C/C++标准扩展,通过显式内存管理和任务并行模型,充分发挥达芬奇架构中Cube与Vector单元的性能。针对CANN算子开发,文章详解了从环境搭建

weixin_34411563的博客 367

flink部署三种模式(案例操作)

flink部署操作案例

全栈开发的博客 2709

DMR对讲机的基本概念理解

刚刚入手DMR对讲机,尚未成功联通。国内互联网上能找到的资料很少,大多数也都是一些DMR协议介绍之类的玩意,对实际操作没有指导意义。以下全部是这几天在网上研究各种资料得出的个人思考,如有错误请斧正。 相比与模拟通讯系统,DMR将语音信号转换为包的形式进行收发。将DMR对比成TCP/IP系统会更容易理解。 一般DMR对讲机都支持模数双通,说明DMR应该使用了跟FM同样的无线AP组件,只在解码上有区别。对讲机先使用DMR进行数字解码,解码成功则说明是数字信号,不成功则使用模拟方式再次进行解码。可以对等理解为

1万+

flink实战—使用shell终端(local模式)

概述 本文讲述如何使用flink的scala-shell终端程序,通过该脚本可以快速上手flink,并可以对简单的flink任务进行调试和测试。类似于spark的shell终端。 本文讲述的是本地模式下的使用。 启动flink的scala-shell Flink附带了一个集成的交互式Scala Shell。它可以在本地模式和群集模式中使用。 要将shell与集成的Flink集群一起使用,只需执行:...

zg_hover的专栏 4176

LiteOS | 基于LiteOS的智慧农业案例实验分享

分享一个基于小熊派+LiteOS+华为云的案例实验(智慧农业)。 实验框图 相关模块简介 1、STM32L431RCT6 2、LiteOS LiteOS是华为开发的轻量级实时操作系统: LiteOS源码GitHub仓库链接: https://github.com/LiteOS/LiteOS 其源码一级目录结构如下: 其内核包括任务管理、内存管理、时间管理、通信机制、中断管理、队列管...

嵌入式大杂烩 5991

【云原生】Docker可视化工具Portainer使用详解

Docker可视化工具Portainer使用详解

congge 1万+

【Flink流式计算框架】Local模式安装_Standalone模式安装(local)_Flink on Yarn模式安装_Flink Shell使用

004FlinkLocal模式安装(集群只有一个节点)Local模式安装在集群上提交任务Standalone模式安装(local)Flink on Yarn模式安装第一种方式第二种方式help信息(yarn-session.sh和flink run) Local模式安装(集群只有一个节点) Local模式安装 (1)安装jdk,配置JAVA_HOME,建议使用jdk1.8以上 (2)安装包下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-

一梦 745

看GRE协议的数据封装

GRE网络数据封装流程

FanFF的博客 80

Flink Scala Shell:使用交互式编程环境学习和调试Flink 三种模式 local remote yarn

交互式编程环境:REPL 当前最著名的交互式编程环境莫属Jupyter Notebook了,程序员可以启动一个交互的Session,在这Session中编写代码、执行程序、获取结果,所见即所得。 交互式编程的优势包括: 快速启动一个程序:程序员不需要“编译、打包、执行”这一套复杂过程,只需要开启一个交互Session,敲下代码,直接得到结果,非常适合验证一段代码的结果。 直接获得程序反馈:使用print,可以在交互环境中直接得到程序结果,无需将输出导出到文件或其他位置。 程序员敲入几行程序命令...

0x8g1T9E- 3180

27、视网膜血管识别与分类的数据集和验证过程

本文介绍了视网膜血管自动识别与分类方法所使用的数据集及其验证过程。通过30张高分辨率的近红外反射视网膜图像,结合专业医生的手动标注结果,构建了包含597个血管段的基准数据集。研究采用准确率、召回率、F1分数和混淆矩阵等评估指标对模型进行验证,并提出了特征增强和分类器优化策略以提升性能。实验结果显示,该方法在复杂区域具有较强的鲁棒性和较高的准确性,为临床应用提供了可靠的依据。

i7j8k9l的博客 148

VTK在QT与非QT环境下使用的区别

VTK可以在QT框架内使用,也可以独立于QT使用,这两种使用方式在架构、交互和渲染方面有显著差异。

深之JohnChen的专栏 630

Flink的scala+python的shell模式实验记录汇总

$bin/start-scala-shell.sh local $./bin/yarn-session.sh -tm 2048 -s 3

微电子学与固体电子学-俞驰 963

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Linux 下Local模式安装部署Flink

1. Local模式安装部署Flink 2. 本地模式(本地Shell窗口) $ ./start-scala-shell.sh local # 以local模式启动Shell窗口 3. 本地模式(伪分布式集群) 4. 输入网址 localhost:8081

ECNU_sei_mfj的博客 401

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

flink学习(一)本地(local)模式和集群(standalone)模式

目录本地模式(local)搭建下载flink安装包上传至虚拟机并解压配置环境变量启动flink并测试集群(standalone)模式搭建配置flink-conf.yaml和workers文件flink-conf.yaml文件workers文件masters文件分发集群启动flink集群启动jps查看进程UI界面查看测试集群 本地模式(local)搭建 下载flink安装包 https://downloads.apache.org/flink/flink-1.12.2/flink-1.12.2-bin-s.

秘密的博客 5995

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

flink shell的local模式(benv与senv的使用+处理报错的解决方案)

启动 start-scala-shell.sh local 实验一: val text = benv.fromElements("To be, or not to be,--that is the question:--","Whether 'tis nobler in the mind to suffer","The slings and arrows of outrageous fortune","Or to take arms against a sea of troubles,") val

微电子学与固体电子学-俞驰 2832

flink新版本没有start-local.sh

1. 编写目的 学习Apache Flink的时候,观看视频或者观看教学视频的时候,教程中在安装flink一般会教我们输入 bin/start-local.sh 。 然而,新版本的Flink是没有start-local.sh这个文件的。 2. 具体过程 想要实现相同的效果,需要输入内容如下: ## 跳转到指定文件 cd flink-1.8.0/bin ./start-scala-shell.sh...

Smileyan's blog 1万+

flink shell出现Could not create the DispatcherResourceManagerComponent

问题复现: start-scala-shell.sh local 排查方式 ①$FLINK_HOME/bin/start-cluster.sh启动后查看$FLINK_HOME/log下面有没有报错 ②启用shell前确保6123和8080(也就是web ui,我自己改成了8084)没有被占用 注意①只是排查手段,启动shell local模式前,必须关闭①中产生的standalone进程。 ...

微电子学与固体电子学-俞驰 3967

pyflink的local模式实验记录

python和flink相关的网上例子比较少 先温固下shell中这些环境变量吧。 python flink shell变量 类型 scalaflink shell变量 类型 s_env pyflink.datastream.stream_execution_environment.StreamExecutionEnvironment senv StreamExecutionEnvironment st_env pyflink..

微电子学与固体电子学-俞驰 852

Spark Local模式安装(保姆式详细教程附代码)

(详细教程附代码)了解Spark的六种运行模式,准确理解Spark Local模式运行原理,熟练掌握Spark Local模式的安装流程。

阿极的博客 1833

新一代大数据计算引擎 Flink从入门到实战 (13) - flink scala shell

1 flink scala shell ./bin/start-scala-shell.sh local

一角残叶的博客 350
上一篇: Flink基础入门实例【Scala简单统计WordCount、Window使用、选取输入中最大/小的值】
下一篇: Python基础示例【基于Python 3.X】
LuckyJiang.2021
博客等级 码龄15年 217粉丝 199原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LuckyJiang.2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值