大数据(9d)Flink流处理核心编程

大数据Flink面试考题___Flink高频考点,万字超全整理(建议)_flink选择题(2) Flink 核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。基于流执行引擎,Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务:DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集, 用户可以方便地使用 Flink 提供的各种操作符对分布式数据集进行处理,支持 Java、Scala 和 Python。 阅读详情

IDE环境准备

准备依赖和打包插件

Flink版本:1.13

<!-- 配置 -->
<properties>
    <flink.version>1.13.1</flink.version>
    <scala.binary.version>2.12</scala.binary.version>
    <slf4j.version>1.7.30</slf4j.version>
</properties>
<!-- 依赖 -->
<dependencies>
    <!-- Flink -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>  <!-- 参与编译,不参与打包 -->
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-runtime-web_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <!-- 日志 -->
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>${slf4j.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>${slf4j.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-to-slf4j</artifactId>
        <version>2.14.0</version>
        <scope>provided</scope>
    </dependency>
</dependencies>
<!-- 打包插件 -->
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.2.4</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <artifactSet>
                            <excludes>
                                <exclude>com.google.code.findbugs:jsr305</exclude>
                                <exclude>org.slf4j:*</exclude>
                                <exclude>log4j:*</exclude>
                            </excludes>
                        </artifactSet>
                        <filters>
                            <filter>
                                <!-- Do not copy the signatures in the META-INF folder.
                                Otherwise, this might cause SecurityExceptions when using the JAR. -->
                                <artifact>*:*</artifact>
                                <excludes>
                                    <exclude>META-INF/*.SF</exclude>
                                    <exclude>META-INF/*.DSA</exclude>
                                    <exclude>META-INF/*.RSA</exclude>
                                </excludes>
                            </filter>
                        </filters>
                        <transformers combine.children="append">
                            <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer">
                            </transformer>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

日志配置:创建log4j.properties

log4j.rootLogger=error, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n

编辑IDEA运行时配置

Include dependencies with “Provided” scope

开发步骤

1·Environment

Environment
Source
Transform
Sink
  • Job提交前,需要先建立与Flink框架之间的联系,也就是当前的Flink运行环境
// 批处理环境
ExecutionEnvironment benv = ExecutionEnvironment.getExecutionEnvironment();
// 流处理环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

2·Source

Environment
Source
Transform
Sink
  • 获取数据

从Java的集合中读取数据

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.util.ArrayList;

public class Hello {
    public static void main(String[] args) throws Exception {
        //创建集合
        ArrayList<Integer> al = new ArrayList<Integer>();
        al.add(1);
        al.add(2);
        //创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //从集合中获取数据并打印
        env.fromCollection(al).print();
        //执行
        env.execute();
    }
}

从Kafka获取数据

创建Kafka主题

kafka-topics.sh \
--replication-factor 1 \
--partitions 1 \
--zookeeper hadoop102:2181/kafka \
--create \
--topic flink

Flink的Kafka依赖

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.12</artifactId>
    <version>1.13.1</version>
</dependency>

运行Java代码

import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;

import java.util.Properties;

public class Hello {
    public static void main(String[] args) throws Exception {
        //Kafka配置
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers", "hadoop100:9092,hadoop101:9092,hadoop102:9092");
        properties.setProperty("group.id", "g1");
        properties.setProperty("auto.offset.reset", "latest");
        //创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env
                .addSource(new FlinkKafkaConsumer<>("flink", new SimpleStringSchema(), properties))
                .print("Kafka");
        //执行
        env.execute();
    }
}

生产数据

kafka-producer-perf-test.sh \
--throughput -1 \
--print-metrics \
--num-records 10000 \
--record-size 1024 \
--producer-props bootstrap.servers=hadoop102:9092 \
--topic flink

自定义数据源

  1. 实现SourceFunction接口
  2. 覆写run和cancel方法
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.SourceFunction;

import java.util.ArrayList;

public class Hello {
    public static void main(String[] args) throws Exception {
        //创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //创建自定义数据源
        ArrayList<Integer> al = new ArrayList<>();
        al.add(333);
        al.add(4444);
        al.add(55555);
        MySource mySource = new MySource(al);
        //加入数据源
        env.addSource(mySource).print();
        //执行
        env.execute();
    }

    public static class MySource implements SourceFunction<Integer> {
        private final ArrayList<Integer> al;

        public MySource(ArrayList<Integer> al) {
            this.al = al;
        }

        @Override
        public void run(SourceContext<Integer> sc) {
            for (Integer integer : al) {
                sc.collect(integer);
            }
        }

        @Override
        public void cancel() {
        }
    }
}

3·Transform

Environment
Source
Transform
Sink
  • 数据转换
    有map、flatMap、filter、keyBy、shuffle、reduce……
    下面以map为例
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class Hello {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.fromElements(1, 2, 3, 4, 5).map(new MapFunction<Integer, Integer>() {
            @Override
            public Integer map(Integer i) {
                return i * i;
            }
        }).print();
        env.execute();
    }
}

使用lambda表达式

.map((MapFunction<Integer, Integer>) i -> i * i)

4·Sink

Environment
Source
Transform
Sink

KafkaSink

Flink的Kafka生产者类:FlinkKafkaProducer

import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;

public class Hello {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment().setParallelism(1);
        env
                .fromElements("a", "bb", "ccc")
                .addSink(
                        new FlinkKafkaProducer<>("hadoop102:9092", "flink",
                        new SimpleStringSchema())
                );
        env.execute();
    }
}

查看有没有写进去

kafka-console-consumer.sh \
--bootstrap-server hadoop102:9092 \
--from-beginning \
--topic flink

自定义Sink

实现RichSinkFunction

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;

public class Hello {
    public static void main(String[] args) throws Exception {
        //创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //自定义Sink
        env.fromElements(1, 2, 3, 4).addSink(new RichSinkFunction<Integer>() {
            @Override
            public void invoke(Integer value, Context context) {
                System.out.println("value: " + value);
                System.out.println("context: " + context);
            }
        });
        //执行
        env.execute();
    }
}

打印结果

Execution Mode(执行模式)

  • 流式API特性:可根据使用情况和Job特点,来选择不同的运行时执行模式
  • 流式API默认是使用的STREAMING执行模式,持续在线,常用于无界流,也可用于有界数据
    还有一个BATCH执行模式,用于有界数据

配置方式

命令行方式配置

bin/flink run -Dexecution.runtime-mode=BATCH ...

代码方式配置

env.setRuntimeMode(RuntimeExecutionMode.BATCH);

建议
代码方式配置 不灵活,建议用 命令行方式配置 来随时切换有界数据和无界数据

有界数据用STREAMING和BATCH的区别

STREAMING模式:来一条数据输出一次结果
BATCH模式:数据处理完之后,一次性输出结果

flink大数据15天速成教程 不要追最新(如 1.19),也不要太旧(如 1.12)。 阅读详情

相关推荐

比拼生态和未来,Spark和Flink哪家强?

概 况 Spark 是最活跃的 Apache 项目之一。从 2014 年左右开始得到广泛关注。Spark 的开源社区一度达到上千的活跃贡献者。最主要推动者是 Databricks,由最初的 Spark 创造者们成立的公司。今年 6 月的 Spark+AI 峰会参加人数超过 4000。 Spark 因为在引擎方面比 MapReduce 全面占优,经过几年发展和 Hadoop 生态结合较好,已经被广...

java1856905的博客 1839

一文解开主流开源变更数据捕获技术之Flink CDC的入门使用

相比前面介绍maxwell,实时数据采集中最主流技术非Flink CDC莫属,其直接省去中间的消息中间件如kafka,且支持增量采集也支持全量采集;本篇先介绍CDC的技术和分类,进一步了解其特性和支持丰富数据源,最后通过FLink DataStream和SQL两种编程示例解开入门。

itxiaoshen博客 2014

大数据Flink面试考题___Flink高频考点,万字超全整理(建议)_flink选择题

Flink 核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。基于流执行引擎,Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务:DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集, 用户可以方便地使用 Flink 提供的各种操作符对分布式数据集进行处理,支持 Java、Scala 和 Python。

2401_84181911的博客 1227

Maven的pom.xml文件详解------Build Settings

根据POM 4.0.0 XSD,build元素概念性的划分为两个部分:BaseBuild(包含poject build和profile build的公共部分,见下)和poject build包含的一些高级特性。 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSch

宁静致远 6万+

掌握大数据领域流处理的核心要点

当你在电商APP刷到「猜你喜欢」的实时推荐,或是银行系统秒级拦截异常交易时,背后都藏着流处理的「流动魔法」——它让无界的实时数据像流水一样被精准、高效地处理,而非批处理的「攒够了再算」。但流处理的学习曲线并不平坦:低延迟与准确性如何平衡?状态怎么管理?乱序数据怎么处理?窗口计算为何总出错?本文用「生活化比喻+Step-by-Step推理+代码实战」拆解流处理的9个核心要点,从「什么是流」的底层概念,到「用Flink实现实时反欺诈」的实际场景,帮你真正掌握流处理的本质。

AI天才研究院 696

Flink原理与代码实例讲解

文章标题 Flink原理与代码实例讲解 关键词: Flink 流处理 批处理 数据流模型 实时处理 状态管理 容错机制

AI天才研究院 847

大数据处理中的流式计算:实践与优化

1.背景介绍 大数据处理是指处理大量、高速、多源、不断增长的数据,这些数据通常不能一次性加载到内存中进行处理,因此需要使用流式计算技术来实现。流式计算是一种处理大规模数据流的方法,它可以在数据到达时进行处理,而不需要等待所有数据都到达。这种方法非常适用于实时数据处理和分析,例如社交网络数据、sensor data、日志数据等。 在大数据处理中,流式计算是一种重要的技术,它可以处理大规模数据流,...

AI天才研究院 2285

Flink实时RiskManagement

Flink实时RiskManagement 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在当今金融市场中,风险管理

AI天才研究院 1266

Flink流处理核心编程实战

Flink流处理核心编程实战 一、基于埋点日志数据的网络流量统计 1.1 网站总浏览量(PV)的统计 衡量网站流量一个最简单的指标,就是网站的页面浏览量(Page View,PV)。用户每次打开一个页面便记录1次PV,多次打开同一页面则浏览量累计。 一般来说,PV与来访者的数量成正比,但是PV并不直接决定页面的真实来访者数量,如同一个来访者通过不断的刷新页面,也可以制造出非常高的PV。接下来我们就用咱们之前学习的Flink算子来实现PV的统计 用于封装数据的JavaBean类 import lombok.

weixin_42796403的博客 625

基于Sentinel-2(哨兵2)遥感卫星的植被覆盖度提取

基于Sentinel-2(哨兵2)遥感卫星的植被覆盖度提取 一、Sentinel-2简单介绍 哨兵-2系列卫星的主要载荷多光谱成像仪拥有13个谱段,从可见光到近红外再到短波红外,空间分辨率从10m到60m,能实现全所未有的陆地海洋监测水平。其幅宽高达290KM,且A、B双星组合,覆盖能力比美国Landsat8卫星强很多。目前哨兵-2A和哨兵-2B已经实现了5天的重访时间,即使在之前仅有单颗卫星时,...

weixin_44143671的博客 2万+

【文献阅读笔记】之基于注意力机制的深度学习路面裂缝检测

中文,计算机辅助设计与图形学学报,第 32 卷 第 8 期,2020 年 8 月。 DOI: 10.3724/SP.J.1089.2020.18059 摘要: 为实现自动准确地检测路面裂缝, 提升路面裂缝检测效果, 提出了一种基于注意力机制的裂缝检测网络 (attention-based crack networks, ACNet). 该网络采用编码器-解码器网络构架, 编码器采用 ResNet34 为骨干网, 提取路面裂缝特征; 在编码器和解码器间加入基于注意力机制的特征模块(attention-b

qq_44785998的博客 7594

Flink流处理核心编程

Flink流处理核心编程 和其他所有的计算框架一样,Llink也有一些基础的开发步骤以及基础,核心的API,从开发步骤的角度来讲,主要分为四大部分 一、Environment Flink Job在提交执行计算时,需要首先建立和Flink框架之间的联系,也就指的是当前的flink运行环境,只有获取了环境信息,才能将task调度到不同的taskManager执行。而这个环境对象的获取方式相对比较简单 // 批处理环境 ExecutionEnvironment benv = ExecutionEnvironm

weixin_42796403的博客 360

AMCL实战:如何用2D激光雷达在ROS中实现稳定重定位(附参数调优指南)

本文深入解析了在ROS中使用2D激光雷达实现稳定AMCL重定位的实战技巧与参数调优指南。针对粒子发散、位姿跳变等常见问题,文章从算法核心原理出发,系统讲解了初始化、粒子滤波、运动与观测模型等关键参数的分类与调优策略,并提供了一套经过验证的调优框架,帮助开发者提升移动机器人在已知地图环境下的定位鲁棒性和稳定性。

sql99的博客 137

大数据(9d)Flink流处理核心编程练习:计算PV和UV

本地开发环境(WIN10+IDEA) Flink之Transform练习模板 计算PV:每个页面的浏览量UV:每个页面的访客数(按设备ID去重) Page View Unique Visitor

ArYe 476

spm FMRI 各种小问题合集

预处理 1、预处理结果从normalize之后开始头歪、变形 问题描述:如下图 原因:DICOM2NIfTI时必须检查对应的T1像。下面是两种错误形式,第一种容易发现,第二种容易忽视,大脑失状位左右颠倒。 解决:重新转了一回格式,建议用SPM fmri进行格式转换。之前是用MRIconvert转换的,用了两台电脑,有的T1结果是对的,不确定什么原因产生的错位,操作都是一样的。 2、Check reg大脑图片边缘出边框 问题描述: 原因:应该是图片排版导致的,单独check就会发现大脑是全的。 解决

weixin_44669441的博客 1677

Protobuf NDK以及QNX交叉编译

Protobuf 用处很广,尤其是通讯数据序列化,反序列化。TODO。

静虚待令,有物混成 1560

Flink流处理故障分析

1.背景介绍 Flink流处理故障分析是一种用于分析和处理流式数据的技术,它可以帮助我们更快速地发现和解决数据流中的问题。在大数据时代,流式数据处理已经成为了一种常见的数据处理方式,它可以实时地处理和分析数据,从而提高数据处理的效率和准确性。 流式数据处理的一个重要环节是故障分析,它可以帮助我们发现和解决数据流中的问题,从而提高数据处理的质量和稳定性。Flink流处理故障分析是一种基于流式数据...

AI天才研究院 759

支付宝H5支付唤醒协议全解析:从alipays://到动态orderSuffix的抓取与拼接

本文深入解析支付宝H5支付唤醒协议,从alipays://协议设计到动态orderSuffix参数的抓取与拼接,详细介绍了支付宝H5支付的底层机制。内容包括协议架构剖析、动态令牌生成与捕获、浏览器兼容性解决方案以及安全机制设计,为开发者提供全面的技术指南和实践建议。

weixin_27972919的博客 3536

Java 架构 26:大数据架构(Flink/Spark+Java)入门

摘要: 本文面向Java开发者,系统介绍大数据架构的核心技术——Apache Flink与Spark。通过对比两大引擎的特性(如Flink的低延迟流处理与Spark的批处理优势),提供从环境搭建到实战代码的完整指南。文章包含Docker快速部署集群、Java API示例(如Flink实时WordCount)、性能优化技巧及选型建议,帮助开发者解决海量数据处理中的存储、计算与实时性挑战。 关键词: Java大数据、Flink、Spark、实时计算、分布式架构

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

五、2K0300 久久派开发板的GPIO控制与Shell脚本自动化实战

本文详细介绍了基于龙芯2K0300处理器的久久派开发板的GPIO控制方法,通过sysfs文件系统实现LED控制和传感器读取。重点讲解了Shell脚本自动化实战,包括LED闪烁、流水灯效果和传感器数据采集,为物联网项目开发提供完整解决方案。

silver的专栏 689

学Simulink--基础储能管理场景实例:基于Simulink的储能SOC均衡控制策略仿真

本文完成了基于 Simulink 的储能 SOC 均衡控制策略仿真,实现了:✅掌握并联系统 SOC 分化机理✅构建基于电流重分配的主动均衡架构✅验证均衡对系统可用容量的显著提升✅实现 SOC 偏差 < 2% 的高精度控制。

amy_mhd的博客 86

单机部署Hadoop+Spark+Flink:本地大数据环境搭建与核心功能验证

大数据处理的核心在于对海量、多样、高速数据进行高效分析与价值挖掘,其技术基石通常包括分布式存储与计算框架。通过容器化技术,我们可以在单机环境下模拟完整的分布式处理流程,这为学习、开发和原型验证提供了极大便利。本文聚焦于利用Docker Compose一键部署集成Hadoop、Spark和Flink的轻量化环境,详细阐述了从环境准备、服务启动到核心功能测试的完整路径。实践环节覆盖了HDFS文件操作、Spark批处理任务提交以及Flink流处理管道的验证,并探讨了通过REST API进行任务管理的方法。这种本地

weixin_33912246的博客 373

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

大数据Flink面试考题___Flink高频考点,万字超全整理(建议)

引言 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 下面为模拟面试,假如面试官考你Flink相关,你该如何回答呢? 1.简单介绍一下 Flink Flink 核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。 基于流执行引擎,Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务:DataSet API, 对静态数据进行批处理操作,将静态数

Maynor的博客 5315

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Flink入门宝典(详细截图版)

Flink入门宝典(详细截图版) 本文基于java构建Flink1.9版本入门程序,需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。 这里简述安装过程,并使用IDEA进行开发一个简单流处理程序,本地调试或者提交到Flink上运行,Maven与JDK安装这里不做说明。 一、Flink简介 Flink诞生于欧洲的一个大数据研究项目StratoSp...

zdy0_2004的专栏 276

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

上一篇: 大数据(3j)Sqoop生产经验
下一篇: 数据分析SQL【离职率】和【司龄】的计算
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值