Apache-Flink深度解析-DataStream-Connectors之Kafka

最新推荐文章于 2024-04-06 15:51:45 发布

王知无(import_bigdata)

最新推荐文章于 2024-04-06 15:51:45 发布

阅读量457

点赞数

CC 4.0 BY-SA版权

分类专栏： Flink系统性学习专栏

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.youkuaiyun.com/u013411339/article/details/88653701

Flink系统性学习专栏同时被 2 个专栏收录

256 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

大数据成神之路

254 篇文章

订阅专栏

本文深入解析Apache Flink与Kafka的集成，介绍如何使用Flink Kafka Connector进行数据处理。从Kafka的简单安装、Topic创建到消息收发，然后详细阐述在Flink中配置Kafka Connector，包括数据源和数据接收器的设置，以及Event-time处理和Window操作。通过示例展示了如何进行简单ETL操作和定义Watermark，帮助读者理解Flink如何处理Kafka中的实时数据流。

Kafka 简介

Apache Kafka是一个分布式发布-订阅消息传递系统。它最初由LinkedIn公司开发，LinkedIn于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka用于构建实时数据管道和流式应用程序。它具有水平扩展性、容错性、极快的速度，目前也得到了广泛的应用。

Kafka不但是分布式消息系统而且也支持流式计算，所以在介绍Kafka在Apache Flink中的应用之前，先以一个Kafka的简单示例直观了解什么是Kafka。

安装

本篇不是系统的，详尽的介绍Kafka，而是想让大家直观认识Kafka，以便在Apahe Flink中进行很好的应用，所以我们以最简单的方式安装Kafka。

下载二进制包

curl -L -O http://mirrors.shu.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz

解压安装
Kafka安装只需要将下载的tgz解压即可，如下：

jincheng:kafka jincheng.sunjc$ tar -zxf kafka_2.11-2.1.0.tgz 
jincheng:kafka jincheng.sunjc$ cd kafka_2.11-2.1.0
jincheng:kafka_2.11-2.1.0 jincheng.sunjc$ ls
LICENSE        NOTICE