Flink 1.10.0应用场景，kakfa->flink->kafka/mysql/es/hive/hdfs

最新推荐文章于 2023-12-20 12:08:30 发布
原创 最新推荐文章于 2023-12-20 12:08:30 发布 · 959 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

本文介绍了Flink 1.10.0的应用场景，包括从Kafka到Flink再到Kafka、MySQL、Elasticsearch、Hive和HDFS的数据处理流程，并提供了相关链接和Flink SQL示例，展示了如何创建数据源和数据接收器，以及进行数据聚合操作。
最低0.47元/天 解锁文章
Flink 读写Kafka总结
主要分享大数据相关的知识，如Spark、Hudi
07-05 2294
总结Flink读写Kafka。
Flink整合CDH Hadoop编译&简单测试
qq_32667911的博客
05-28 631
准备工作 maven3 jdk1.8 下载源码包 Flink官网: https://flink.apache.org/ 下载地址: Apache Flink 1.10.0 Source Release 配置支持CDH依赖 maven默认不支持cdh的依赖下载，修改maven目录下conf中的settings.xml如下：（这里的cloudera-releases是flink源码中配置的id） nexus-aliyun *,!cloudera-releases,!c
Flink实战之Kafka To Hive
weixin_41608066的博客
11-24 2048
背景 传统的入库任务一般借助于MapReduce或者Spark来写hive表，一般都是天级别最多小时级别的任务。随着实时性要求越来越高，传统的入库不太能满足需求。Flink完全基于流式处理，同时也支持了写Hive表。本文介绍一下如果通过FlinkSQL实现kafka数据入库hive，并能够实时可查。 Hive Catalog 由于写hive表必须基于hive catalog，所以需要注册hive catalog。同时可以在一个job内切换catalog，如果我们不想把kafka的source table注册
FlinkSQL消费Kafka写入Hive表
qq_32068809的博客
10-13 8035
flinkSQL消费kafka实时写入hive表
flink sql kafka写数据到hive
weixin_41197407的博客
05-27 2849
step1:flink连接hive配置 首先确保启动hive metastore远程服务 flink安装目录下新建文件夹hive-conf,然后vi hive-site.xml，配置hive仓库地址和metastore远程服务连接地址。（此配置为了在flink集群中启动hive客户端来远程访问hive metastore服务）具体如下： 新建hive-conf文件夹： hive-site.xml配置 <configuration> <property> <nam
kafka flink es hive streaming
09-09 461
1.kafka create topic kafka-topics.sh --create --bootstrap-server 172.19.68.12:9092 --replication-factor 1 --partitions 1 --topic dev-yuqing-topic-test 2.kafka producer kafka-console-producer.sh --broker-list 172.19.68.12.9092 --topic dev-yuqing-topic-t.
Flink-读Kafka写Hive表
ZacksTang的博客
08-29 1875
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/connectors/table/hive/overview/ 当前Flink ...
Flink实时数仓---1，Flink SQL读取kafka实操，已经遇到的问题.....持续更新吧
qq_31866793的博客
05-20 3894
1，第一步很重要就是依赖的问题，因为是本地执行，所以最好有hadoop配置环境，没有的话会提示错误信息，自己百度一下，自己下载个winutils.exe ，然后配置环境变量 2，为了图方便直接贴上pom文件依赖（自己看哈，就是hive跟hadoop的依赖）： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xm...
一、Flink环境解决[安装部署｜Maven｜Gradle｜scala打包]
王双颖的博客
09-30 1357
Flink 前置： 公司要求使用gradle-scala版本。现在maven-java版本学习资料居多，我根据java版本、官网来学校scala版本。 已有的三台测试服务器：/opt/app 目录下，下面来部署Flink1.12.0 1、安装部署 flink部署分为[local本地模式、Standalone独立集群模式、Standalone-HA高可用模式、Flink-on-Yarn模式生产] 实际生产中使用Flink-On-Yarn 下载地址：Flink-1.12.0 flink-1.12.0-bin
Flink读取Kafka数据写入Hive
weixin_40278610的博客
03-14 9966
本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive
weixin_53543905的博客
12-20 3476
需求描述：1、数据从 Kafka 写入 Hive。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、Flink 集成 Kafka 写入 Hive 需要进行 checkpoint 才能落盘至 HDFS。5、先在 Hive 中创建表然后动态获取 Hive 的表结构。6、Kafka 数据为 Json 格式，通过 FlatMap 扁平化处理后，根据表结构封装到 Row 中后完成写入。7、写入时转换成临时视图
使用Flink实现kafka流关联hive中维表
ImStarBoy的博客
09-03 1414
flink版本:1.10.1 kafka版本：0.10.0 hive版本:1.2.1 依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_2.12</artifactId> <version>1.10.1</version> </dependency&g
【FLINK】flink 读取Kafka数据写入Hive表中
Zsigner的博客
05-09 6280
背景：对实时的历史数据持久化保存到Hdfs中，可以使用Hive Sql 追溯历史数据给业务参考多维度指标 版本信息：Flink 1.11.2，Scala 2.11，Kafka 2.12，Hive 2.3.7 1、引入pom.xml内容 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...
FLINK 1.12.2 读取KAFKA写入HIVE的完整示例
arwenlin的博客
05-21 3966
本文只提供FLINK 1.12.2 读取KAFKA写入HIVE的完整示例，具体说明可以参考《FLINK 1.12.2 流式写入HDFS（hive）的几种方式》和《FLINK 1.12.2 读取KAFKA的2种方式》。 目录 1依赖 2代码 3发布集群 3.1打包后上传到集群执行 3.2IDE远程发布集群执行 1依赖 <dependencies> <dependency> <groupId>com.fasterxml.jackson.core</
基于Flink+Hive+Kafka的流批一体数仓实践--02模拟kafka生产数据
GabrielCP的博客
01-05 1843
废话不多说，直接上代码，定义两个scala工具类,然后JsonMock模拟生产数据作为flink自定义数据源Goodme_Source。自定义数据源需要重写SourceFunction，后面再说。然后sink到Kafka。 {"orderMaster":{"area":"周口","orderID":"1207687863","brandId":"Goodme","customerID":"1697","orderStatus":"40","orderChannel":"饿了么","storeCode":"3
Flink 1.10 正式发布！——与Blink集成完成，集成Hive，K8S
大数据流动
02-13 2692
Apache Flink社区宣布Flink 1.10.0正式发布！ 本次Release版本修复1.2K个问题，对Flink作业的整体性能和稳定性做了重大改进，同时增加了对K8S，Python的支持。 这个版本标志着与Blink集成的完成，并且强化了流式SQL与Hive的集成，本文将详细介绍新功能和主要的改进。 一、内存管理优化 原有TaskExecutor有一些缺点： 流处理和批处理用了不同的...
flink-cdc 同步mysql数据到ES时间格式问题。
wchao111111的博客
03-02 5299
flink-cdc 同步mysql数据到ES，时间格式的处理非常蛋疼的一件事。 首先ES的标准时间格式是yyyy-MM-ddTHH:mm:ss.SSSZ时间精度是毫秒也就是TABLE中对应的TIMESTAMP_LTZ(3),
消息推送平台的实时数仓？！flink消费kafka消息入到hive
BASK2311的博客
05-11 793
这数据仓库整个安装环境和调试过程确实折腾人，多次推倒重来（甚至不惜重装系统重来）。还好最后输入Kafka一条消息，在hive表里能看到一条记录，能看到结果之后，折腾或许是值得的。如果想学Java项目的，强烈推荐我的开源项目消息推送平台Austin（8K stars），可以用作毕业设计，可以用作校招，可以看看生产环境是怎么推送消息的。开源项目消息推送平台austin仓库地址：作者：Java3y链接：https://juejin.cn/post/723151921389849810。
消息推送平台的实时数仓？flink消费kafka消息入到hive
qq13321123的博客
05-11 1250
这数据仓库整个安装环境和调试过程确实折腾人，多次推倒重来（甚至不惜重装系统重来）。还好最后输入Kafka一条消息，在hive表里能看到一条记录，能看到结果之后，折腾或许是值得的。
flink 1.17 输出算子教程从Kafka-->flink-->kafka，怎么做
最新发布
10-06
在Flink 1.17中，要从Kafka读取数据，经过处理后再输出到Kafka，可按以下步骤操作： ### 1. 引入依赖 需要在项目中引入Kafka连接器的依赖。在Maven项目的`pom.xml`文件中添加如下依赖： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka</artifactId> <version>1.17.0</version> </dependency> ``` ### 2. 从Kafka读取数据 Flink官方提供了连接工具`flink-connector-kafka`，可以使用`FlinkKafkaConsumer`或新的`KafkaSource`来读取Kafka数据。以下是使用`KafkaSource`的示例代码： ```java import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.connector.kafka.source.KafkaSource; import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; public class SourceKafka { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); KafkaSource<String> kafkaSource = KafkaSource.<String>builder() .setBootstrapServers("hadoop102:9092") .setTopics("topic_1") .setGroupId("atguigu") .setStartingOffsets(OffsetsInitializer.latest()) .setValueOnlyDeserializer(new SimpleStringSchema()) .build(); DataStreamSource<String> stream = env.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "kafka-source"); } } ``` ### 3. 数据处理 在获取到Kafka数据流后，可以对数据进行各种处理，例如简单的映射操作： ```java import org.apache.flink.streaming.api.datastream.DataStream; // ... 前面的代码 ... DataStream<String> processedStream = stream.map(data -> data.toUpperCase()); ``` ### 4. 将处理后的数据输出到Kafka 使用`KafkaSink`将处理后的数据输出到Kafka。示例代码如下： ```java import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema; import org.apache.flink.connector.kafka.sink.KafkaSink; import org.apache.kafka.clients.producer.ProducerRecord; import javax.annotation.Nullable; import java.nio.charset.StandardCharsets; // ... 前面的代码 ... KafkaRecordSerializationSchema<String> serializationSchema = new KafkaRecordSerializationSchema<String>() { @Override public ProducerRecord<byte[], byte[]> serialize(String element, @Nullable Long timestamp) { return new ProducerRecord<>("output_topic", element.getBytes(StandardCharsets.UTF_8)); } }; KafkaSink<String> kafkaSink = KafkaSink.<String>builder() .setBootstrapServers("hadoop102:9092") .setRecordSerializer(serializationSchema) .build(); processedStream.sinkTo(kafkaSink); env.execute(); ``` ### 完整代码示例 ```java import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema; import org.apache.flink.connector.kafka.sink.KafkaSink; import org.apache.flink.connector.kafka.source.KafkaSource; import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.kafka.clients.producer.ProducerRecord; import javax.annotation.Nullable; import java.nio.charset.StandardCharsets; public class FlinkKafkaExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); KafkaSource<String> kafkaSource = KafkaSource.<String>builder() .setBootstrapServers("hadoop102:9092") .setTopics("topic_1") .setGroupId("atguigu") .setStartingOffsets(OffsetsInitializer.latest()) .setValueOnlyDeserializer(new SimpleStringSchema()) .build(); DataStreamSource<String> stream = env.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "kafka-source"); DataStream<String> processedStream = stream.map(data -> data.toUpperCase()); KafkaRecordSerializationSchema<String> serializationSchema = new KafkaRecordSerializationSchema<String>() { @Override public ProducerRecord<byte[], byte[]> serialize(String element, @Nullable Long timestamp) { return new ProducerRecord<>("output_topic", element.getBytes(StandardCharsets.UTF_8)); } }; KafkaSink<String> kafkaSink = KafkaSink.<String>builder() .setBootstrapServers("hadoop102:9092") .setRecordSerializer(serializationSchema) .build(); processedStream.sinkTo(kafkaSink); env.execute(); } } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值