Flink Shell 入门教程：编程指南

最新推荐文章于 2025-05-08 16:34:34 发布

心之向往！

最新推荐文章于 2025-05-08 16:34:34 发布

阅读量197

点赞数

文章标签： flink 大数据编程

本文链接：https://blog.youkuaiyun.com/TechBurst/article/details/132877846

版权

编程专栏收录该内容

353 篇文章 ¥29.90 ¥99.00

订阅专栏

本文档提供了一份Flink Shell的入门教程，详细介绍了如何安装启动Flink Shell，使用Scala编写并执行Flink程序，包括简单的数据转换和窗口计算操作。Flink Shell作为一个交互式编程工具，方便用户进行调试和测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink Shell 入门教程：编程指南

Flink Shell 是 Apache Flink 提供的一种交互式编程工具，它允许用户通过命令行界面执行 Flink 作业，并在运行过程中进行调试和测试。本教程将介绍如何使用 Flink Shell 编写和执行简单的 Flink 程序。

1. 安装和启动 Flink Shell

首先，确保已经正确安装了 Java 和 Apache Flink。然后按照以下步骤启动 Flink Shell：

打开终端或命令提示符。
导航到 Flink 安装目录的 bin 目录。
运行以下命令来启动 Flink Shell：

./start-scala-shell.sh local

这将启动一个本地的 Flink Shell 会话。

2. 编写 Flink 程序

在 Flink Shell 中，我们可以使用 Scala 或 Python 编写 Flink 程序。本教程将使用 Scala 示例。

首先，让我们编写一个简单的 Flink 程序，计算输入数据流中每个元素的平方。

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

心之向往！

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

flink shell 入门教程

yy的博客

09-10

668

start-scala-shell.sh flinkshell flink shell scala

Spark入门指南：大数据处理的第一个Hello World程序

最新发布

AI天才研究院

05-10

1001

随着数据量呈指数级增长，传统单机数据处理技术已无法满足需求。Apache Spark作为当前最主流的大数据处理框架，凭借其“快如闪电”的计算速度（基于内存计算）和“简单易用”的API设计，成为企业级大数据平台的核心工具。本文的目标是通过一个经典的“Hello World”程序（即WordCount词频统计），引导读者完成从环境搭建到程序运行的全流程，并深入理解Spark的核心机制。Spark的核心概念与架构分布式计算的基础逻辑PySpark环境搭建与配置。

参与评论您还未登录，请先登录后发表或查看评论

Flink-shell

qq_45409791的博客

08-02

1138

flink-shell相关知识点

flink~使用shell终端

cai_and_luo的博客

10-21

2639

flink~使用shell终端前言scala-shell local模式scala-shell集成环境说明使用Batch环境在scala shell中执行wordcount使用Streaming环境在scala shell中通过DataStream API来计算wordcount 前言在spark中可以使用shell终端直接使用scala进行调试和测试。在flink中也有类似的shell终端。 scala-shell local模式 Flink附带了一个集成的交互式Scala Shell。它可以在本地模式

Flink流批一体计算（8）：Flink常见Shell命令

victory0508的专栏

06-28

1947

Flink提供了一个命令行界面（CLI）bin/Flink，用于运行打包为JAR文件的程序并控制其执行。CLI是任何Flink设置的一部分，可在本地单节点设置和分布式设置中使用。它连接到conf/flink-conf.yaml中指定的正在运行的JobManager。操作用途使用启动一个常驻的Flink集群，接受来自客户端提交的任务。run提交Flink作业，作业既可以被提交到一个常驻的Flink集群上，也可以使用单机模式运行。以模式执行作业。info用于打印作业的优化执行图。

flink学习笔记-shell命令号调试flink实时、批处理任务

陈同学

03-23

1006

为了方便我们的开发调试，Flink支持通过shell命令行的方式来对我们的代码进行开发运行，类似于Spark的shell命令行对代码的调试是一样的，可以方便的对我们的代码执行结果进行跟踪调试，查验代码的问题所在Flink shell方式支持流处理和批处理。当启动shell命令行之后，两个不同的ExecutionEnvironments会被自动创建。使用senv(Stream)和benv(Bat...

Apache Spark入门教程：安装与基础操作指南

除了安装Spark本身之外，入门指南还会涉及到一些基础的使用，比如如何使用Spark提交应用程序，以及如何通过Spark shell进行交互式数据分析。Spark shell是一个命令行工具，它允许用户快速测试和开发Spark程序。利用...

大数据领域 Hive 入门指南：从基础到实战

AI天才研究院

05-08

771

随着企业数据规模从TB级向PB级跨越，传统关系型数据库（如MySQL）在海量数据存储与分析场景中逐渐显现性能瓶颈。Hive作为Apache基金会旗下基于Hadoop的数据仓库工具，通过类SQL语法（HiveQL）将复杂的MapReduce任务透明化，使数据分析师无需掌握Java编程即可完成大规模数据处理。

大数据学习指南从入门到精通

热门推荐

Lansonli（蓝深李）的博客

05-21

2万+

利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。

Flink使用shell终端（local模式）

^_^TaeYang-Jade^_^

11-24

1003

一、Linux nc命令 -l 开启监听模式，用于指定nc将处于监听模式。通常这样代表着为一个服务等待客户端来链接指定的接口。 -p <通信端口>：设置本地主机使用的通信端口。有可能会关闭。 -k <通信端口>：强制nc待命链接。当客户端从服务端断开连接后，过一段时间服务端也会停止监听。但通过选项-k可以强制服务器保持连接并继续监听端口。二、使用shell终端（l...

flink 客户端操作.pdf

05-21

flink 客户端操作, 各种命令, sql clinet 操作等等都在文档里有

07/08_flink shell,基本原理及应用场景、特点、架构图、集群解剖、JobManager、TaskManagers、tasks和操作链、Session/job集群、组件介绍等、应用场景

涂作权的博客

01-20

582

1.7.Flink scala shell代码调试 1.7.1.Flink scala shell代码调试语法 1.8.Flink基本原理及应用场景 1.8.1.Flink特点 1.8.2.Flink架构图 1.8.2.1.Flink集群的解剖 1.8.2.1.1.JobManager 1.8.2.1.2.TaskManagers 1.8.2.1.3.Tasks and Operator Chains 1.8.2.1.4.Task Slots 和 Resources 1.8.2.1.5.Flink Appl

flink 常见shell命令整理 --笔记整理

编程技术、独立开发、技术资讯以及编程感悟等内容

01-27

556

flink run参数说明 flink shell命令汇总整理

Flink Shell On Yarn

吟啸徐行

04-16

1218

Flink Shell On Yarn 启动 start-scala-shell.sh yarn 一直报错： Exception in thread "main" java.lang.UnsupportedOperationException: Could not resume a Yarn cluster. at org.apache.flink.yarn.cli.FlinkYar

flink实战—使用shell终端(local模式)

kwame211的博客

01-21

363

概述本文讲述如何使用flink的scala-shell终端程序，通过该脚本可以快速上手flink，并可以对简单的flink任务进行调试和测试。类似于spark的shell终端。本文讲述的是本地模式下的使用。启动flink的scala-shell Flink附带了一个集成的交互式Scala Shell。它可以在本地模式和群集模式中使用。要将shell与集成的Flink集群一起使用，只需...

【flink脚本系列】pyflink-shell.sh 功能用法示例源码解析

wang2leee的博客

08-27

434

该脚本用于启动 PyFlink 的交互式 Shell。它设置必要的环境变量，并调用。在 Flink 中，还有其他类似的脚本可用于不同的操作和用途。模块来执行 PyFlink Shell。

[Flink]Flink1.3 指南四命令行接口

SmartSi

10-23

8110

Flink提供了一个命令行接口（CLI）用来运行打成JAR包的程序，并且可以控制程序的运行。命令行接口在Flink安装完之后即可拥有，本地单节点或是分布式的部署安装都会有命令行接口。命令行接口启动脚本是 $FLINK_HOME/bin目录下的flink脚本，默认情况下会连接运行中的Flink master(JobManager)，JobManager的启动脚本与CLI在同一安装目录下。使用命...

Flink的SQL开发

Appreciate(欣赏)

01-29

2244

Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的

flink安装与配置-脚本一键安装（超简单）

zcs2312852665的博客

12-03

388

本文介绍了使用shell脚本一键安装和配置Apache Flink的方法。通过复制并执行提供的安装脚本，可以自动下载、安装和配置Flink。脚本会检查系统环境和依赖，并进行相应的安装和配置操作。安装完成后，可以通过浏览器访问Flink的用户界面。这种自动化的安装和配置方法可以减少手动操作的工作量，提高部署的一致性和可靠性。