Flink编程练习（一）

最新推荐文章于 2025-06-23 17:50:39 发布
最新推荐文章于 2025-06-23 17:50:39 发布
阅读量1.4k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Database 文章标签： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/crazy_scott/article/details/84950388
这篇博客介绍了使用Flink进行NYC出租车数据的清洗实践。首先讲解了环境配置，包括下载Flink和项目代码，以及设置Scala SDK。接着详细阐述了项目的数据设置，数据来源是纽约出租车数据，并使用event-time。主要关注了`RideCleansingExercise`和`RideCleansingTest`两个部分，前者在执行时会遇到`filter`方法未定义的问题，后者包含测试类，通过比较预期结果来验证函数的正确性。在`RideCleansingTest`中，测试了GPS点是否在NYC的判断函数。最后提示读者需要修改`filter`方法来完成数据过滤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink编程练习，NYC出租车数据

环境配置

本项目参考这里，setup。

  • 首先确保已经下载好flink依赖，并从Github下载代码。

  • 下载依赖数据，这里依赖的是纽约出租车数据，可以使用命令行下载：

    • wget http://training.data-artisans.com/trainingData/nycTaxiRides.gz
wget http://training.data-artisans.com/trainingData/nycTaxiFares.gz

由于本项目使用java编译，而源文件有scala，为了忽略scala的错误，这里需要指定scala的SDK：

54449085480

项目

数据设置

使用IDEA打开该maven项目，首先需要找到依赖的文件路径：

54448844030

可

最低0.47元/天 解锁文章

200万优质内容无限畅学
Flink编程练习（二）
crazy_scott的博客
12-18 2291
Map 班级学生成绩的随机生成 输入：本班同学的学号 输出：<学号，成绩> 数据准备 首先需要一个stuID.csv文件，每一列为一个学号： 然后将文件放入HDFS中： hdfs dfs put stuID.csv input 编写程序 import org.apache.flink.api.common.functions.MapFunction; impo...
Flink初次练习（Transformation）
曦玥Moonight的博客
11-08 235
Flink的官网：https://flink.apache.org/ 使用的软件：IntelliJ IDEA Community Edition 创建TransformationTest文件 练习一 将输入的数字均乘10 package cn.tedu.dataset; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.ExecutionEnvironment; import
myflink：我的flink练习项目
02-22
myflink：我的flink练习项目
Flink练习
hsiehchou的博客
06-01 595
Flink练习 一、Flink开发IDEA环境搭建与测试 1、IDEA开发环境 先虚拟机联网，然后执行yum -y install nc nc是用来打开端口的工具 然后nc -l 9000 1.pom文件设置 <properties> <maven.compiler.source>1.8</maven.compiler.source> ...
Flink项目基础配置指南
最新发布
qq_42773076的博客
06-23 856
在大数据处理领域，Apache Flink凭借强大的实时流处理和批处理能力，成为众多开发者的首选工具。在日常工作中，开发Flink Jar任务是常见需求，但每次都需重复配置日志、梳理pom依赖、设置打包插件等，流程繁琐且易出错。为提升开发效率，减少重复劳动，将这些基础配置进行整理归纳十分必要。本文将围绕Flink项目的本地日志配置、pom依赖及插件配置展开详细介绍，为开发者提供一套可直接复用的基础配置方案，助力Flink项目高效开发。在Flink项目中，日志是了解任务运行状态、排查问题的重要依据。本地日志配
Flink批处理练习
影子
03-04 235
idea、Flink、maven <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/..
Flink1.12-2021黑马 6-7Table&SQL +实战
紫蝶侠的博客
03-16 1443
7.Flink-Action综合练习 课程目标 掌握使用Flink实现模拟双十一实时大屏统计 掌握使用Flink实现订单自动好评 1. Flink模拟双十一实时大屏统计 1.1 需求 在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。除了这个，还有一些其他场景的应用，比如我们在我们的后台系统实时的展示我们网站当前的pv、uv等等，其实做法都是类似的。 今天我们就做一个最简单的模拟电商统计大屏的小例子， 需求如下： 1.实时计算出当天零点截止到当前时
《初级》Flink API练习
huzechen的博客
08-29 371
加微信拉微信交流群 微信：weixin605405145 Fliter import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api....
Flink入门编程
TU_JCN的博客
08-20 1173
1、Flink编程入门案例 1.1、实时处理代码开发 开发flink代码，实现统计socket当中的单词数量 第一步：创建maven工程，导入jar包 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala --> <dependency> <groupId>org.apache.flink&l
Flink热门电影实时统计（模仿双十一实时大屏统计）
qq_43521665的博客
04-03 760
本实验根据累计观影人数，判断电影的热门程度 实验要求： 实时计算出三天内截止到当前时间的观影人数 计算出电影观影人数的Top3，并输出对应电影 每秒钟更新一次统计结果 附加：实时计算出电影的平均评分，如果电影人数相同，则输出分数高的 实验过程： 数据源会源源不断地产生数据流，根据电影ID，对电影的观影人数进行累加，并对电影评分求平均。 每秒钟收集一次窗口结果数据，将聚合结果打包成对象，该对象中包含了打包时间，使用这个打包时间代替事件发生时间 按照时间分组，每1s更新截至当前时间的累计总人数和平均分，并
Flink SQL DDL 和 窗口函数实战（含代码练习）
Brave_heart4pzj的博客
12-13 6089
一、Flink SQL DDL 2019 年 8 月 22 日，Flink 发布了 1.9 版本，社区版本的 Flink 新增 了一个 SQL DDL 的新特性，但是暂时还不支持流式的一些概念的定义，比如说水位。 二、定义 create table 语句 从 kafka 中读取数据 可以体验一下，如果使用 ddl 的方式直接定义一个表从 kafka 中读取数据，并定义成一个表 CREATE TAB...
Flink 题目
weixin_48370579的博客
07-23 213
Flink 题目 从MySql中读取数据，通过Flink处理之后在存储到MySql中 package com.wt.flink.homework import org.apache.flink.streaming.api.functions.source.SourceFunction import org.apache.flink.configuration.Configuration im...
Flink第二次练习（含流式数据初试）
曦玥Moonight的博客
11-15 261
Flink的官网：https://flink.apache.org/ 使用的软件：IntelliJ IDEA Community Edition CoreAPI： DataSet:专门处理离线数据,给离线数据处理设计了更多有针对性的API. env:ExecutionEnvironment DataStream:一般用于处理流式数据,也可以处理离线数据env:StreamExecutionEnvironment 【这一次用的是DataStream】 创建SourceTest package cn.tedu.
Flink初次练习（Source、Sink）
曦玥Moonight的博客
11-08 264
Flink的官网：https://flink.apache.org/ 使用的软件：IntelliJ IDEA Community Edition 第一个练习： 读取目录下的文件并打印输出 package cn.tedu.dataset; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.operators.DataSource; import org.apache.flink.st
flink 随笔 2-实践练习
hyoka的博客
11-30 183
0. 有国外的flink的好书吗? 幂等 1. 先整理，慢慢看 实践练习 流处理 在 Flink 中，应用程序由用户自定义算子转换而来的流式 dataflows 所组成。这些流式 dataflows 形成了有向图，以一个或多个源（source）开始，并以一个或多个汇（sink）结束。 通常，程序代码中的 transformation 和 dataflow 中的算子（operator）之间是一一对应的。但有时也会出现一个 transformation 包含多个算子的情况，如上图所示。 并行Data
Flink编程入门（一）
weixin_30731305的博客
12-29 152
1.Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。 在国外一些社区，有很多人将大数据的计算...
flink 练习
xuwenxinxjzy的博客
06-11 188
111。
《初级》Flink 窗口函数练习
huzechen的博客
08-29 463
加微信拉微信交流群 微信：weixin605405145 ProcessWinFunOnWindow import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple3; import org.apache.flink.streaming.api.datastream.Dat...
Flink面试题
张伟的专栏
05-30 1215
为什么使用 Flink 替代 Spark？全局快照首先是一个分布式应用，它有多个进程分布在多个服务器上；其次，它在应用内部有自己的处理逻辑和状态；第三，应用间是可以互相通信的；第四，在这种分布式的应用，有内部状态，硬件可以通信的情况下，某一时刻的全局状态，就叫做全局的快照。回到顶部。
flink练习scala
01-08
通过正确设定Maven项目的POM文件，并采用Scala作为编程语言，能够更好地发挥Apache Flink框架的优势来应对大规模数据集以及实时流处理任务[^3]。 ```xml <!-- Scala dependency --> <groupId>org.apache.flink...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值