Flink学习札记1——2020.2.25新一代大数据计算引擎 Flink从入门到实战

本文介绍如何使用Apache Flink进行批处理WordCount应用开发,包括环境搭建、开发流程及核心业务逻辑实现,适用于初学者快速入门。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

#Flink开发批处理应用程序
需求:词频统计(word count)
文件,统计文件中每个单词出现的次数分隔符是\t统计结果我们直接打印在控制台(生产上肯定是Sink到目的地)
实现
Flink,+ Java
Flink + Scala
##环境准备:
### JDK:
下载地址:https://www.oracle.com/technetwork/java/javase/
Mac:dmg
Linux:tar.gz
indows:exe
###Maven
官网:maven.apache.org
下载地址:https://archive.apache.org/dist/maven/maven-3/3
Linux/Mac/Windows:解压
tar-zxvf apache-maven-3.3.9-bin.tar.qz ~C/app
##开发流程/开发八股文编程
1)set up the batch execution environment
2)read
3)transform operations 开发的核心所在:开发业务逻辑
4)execute program
##功能拆解
1)读取数据
hello welcome
2)每一行的数据按照指定的分隔符拆分hello welcome
3)为每一个单词赋上次数为1
(hetlo,1)
(welcome,1)
4)合并操作

创建项目
mvn archetype:generate
-DarchetypeGroupId=org.apache.flink
-DarchetypeArtifactId=flink-quickstart-java
-DarchetypeVersion=1.10.0
-DarchetypeCatalog=local
#启动一个端口:
nc -lk 端口号

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值