Flink 1.10.0应用场景，kakfa->flink->kafka/mysql/es/hive/hdfs

最新推荐文章于 2024-09-20 09:50:22 发布
原创 最新推荐文章于 2024-09-20 09:50:22 发布 · 959 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

本文介绍了Flink 1.10.0的应用场景，包括从Kafka到Flink再到Kafka、MySQL、Elasticsearch、Hive和HDFS的数据处理流程，并提供了相关链接和Flink SQL示例，展示了如何创建数据源和数据接收器，以及进行数据聚合操作。
最低0.47元/天 解锁文章
Flink实战之Kafka To Hive
weixin_41608066的博客
11-24 2048
背景 传统的入库任务一般借助于MapReduce或者Spark来写hive表，一般都是天级别最多小时级别的任务。随着实时性要求越来越高，传统的入库不太能满足需求。Flink完全基于流式处理，同时也支持了写Hive表。本文介绍一下如果通过FlinkSQL实现kafka数据入库hive，并能够实时可查。 Hive Catalog 由于写hive表必须基于hive catalog，所以需要注册hive catalog。同时可以在一个job内切换catalog，如果我们不想把kafka的source table注册
FlinkSQL消费Kafka写入Hive表
qq_32068809的博客
10-13 8035
flinkSQL消费kafka实时写入hive表
flink sql kafka写数据到hive
weixin_41197407的博客
05-27 2849
step1:flink连接hive配置 首先确保启动hive metastore远程服务 flink安装目录下新建文件夹hive-conf,然后vi hive-site.xml，配置hive仓库地址和metastore远程服务连接地址。（此配置为了在flink集群中启动hive客户端来远程访问hive metastore服务）具体如下： 新建hive-conf文件夹： hive-site.xml配置 <configuration> <property> <nam
kafka flink es hive streaming
09-09 461
1.kafka create topic kafka-topics.sh --create --bootstrap-server 172.19.68.12:9092 --replication-factor 1 --partitions 1 --topic dev-yuqing-topic-test 2.kafka producer kafka-console-producer.sh --broker-list 172.19.68.12.9092 --topic dev-yuqing-topic-t.
Flink-读Kafka写Hive表
ZacksTang的博客
08-29 1875
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/connectors/table/hive/overview/ 当前Flink ...
Flink读取Kafka数据写入Hive
weixin_40278610的博客
03-14 9966
本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive
weixin_53543905的博客
12-20 3476
需求描述：1、数据从 Kafka 写入 Hive。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、Flink 集成 Kafka 写入 Hive 需要进行 checkpoint 才能落盘至 HDFS。5、先在 Hive 中创建表然后动态获取 Hive 的表结构。6、Kafka 数据为 Json 格式，通过 FlatMap 扁平化处理后，根据表结构封装到 Row 中后完成写入。7、写入时转换成临时视图
使用Flink实现kafka流关联hive中维表
ImStarBoy的博客
09-03 1414
flink版本:1.10.1 kafka版本：0.10.0 hive版本:1.2.1 依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_2.12</artifactId> <version>1.10.1</version> </dependency&g
【FLINK】flink 读取Kafka数据写入Hive表中
Zsigner的博客
05-09 6280
背景：对实时的历史数据持久化保存到Hdfs中，可以使用Hive Sql 追溯历史数据给业务参考多维度指标 版本信息：Flink 1.11.2，Scala 2.11，Kafka 2.12，Hive 2.3.7 1、引入pom.xml内容 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...
FLINK 1.12.2 读取KAFKA写入HIVE的完整示例
arwenlin的博客
05-21 3966
本文只提供FLINK 1.12.2 读取KAFKA写入HIVE的完整示例，具体说明可以参考《FLINK 1.12.2 流式写入HDFS（hive）的几种方式》和《FLINK 1.12.2 读取KAFKA的2种方式》。 目录 1依赖 2代码 3发布集群 3.1打包后上传到集群执行 3.2IDE远程发布集群执行 1依赖 <dependencies> <dependency> <groupId>com.fasterxml.jackson.core</
基于Flink+Hive+Kafka的流批一体数仓实践--02模拟kafka生产数据
GabrielCP的博客
01-05 1843
废话不多说，直接上代码，定义两个scala工具类,然后JsonMock模拟生产数据作为flink自定义数据源Goodme_Source。自定义数据源需要重写SourceFunction，后面再说。然后sink到Kafka。 {"orderMaster":{"area":"周口","orderID":"1207687863","brandId":"Goodme","customerID":"1697","orderStatus":"40","orderChannel":"饿了么","storeCode":"3
Flink 1.10 正式发布！——与Blink集成完成，集成Hive，K8S
大数据流动
02-13 2692
Apache Flink社区宣布Flink 1.10.0正式发布！ 本次Release版本修复1.2K个问题，对Flink作业的整体性能和稳定性做了重大改进，同时增加了对K8S，Python的支持。 这个版本标志着与Blink集成的完成，并且强化了流式SQL与Hive的集成，本文将详细介绍新功能和主要的改进。 一、内存管理优化 原有TaskExecutor有一些缺点： 流处理和批处理用了不同的...
flink-cdc 同步mysql数据到ES时间格式问题。
wchao111111的博客
03-02 5299
flink-cdc 同步mysql数据到ES，时间格式的处理非常蛋疼的一件事。 首先ES的标准时间格式是yyyy-MM-ddTHH:mm:ss.SSSZ时间精度是毫秒也就是TABLE中对应的TIMESTAMP_LTZ(3),
消息推送平台的实时数仓？！flink消费kafka消息入到hive
BASK2311的博客
05-11 793
这数据仓库整个安装环境和调试过程确实折腾人，多次推倒重来（甚至不惜重装系统重来）。还好最后输入Kafka一条消息，在hive表里能看到一条记录，能看到结果之后，折腾或许是值得的。如果想学Java项目的，强烈推荐我的开源项目消息推送平台Austin（8K stars），可以用作毕业设计，可以用作校招，可以看看生产环境是怎么推送消息的。开源项目消息推送平台austin仓库地址：作者：Java3y链接：https://juejin.cn/post/723151921389849810。
消息推送平台的实时数仓？flink消费kafka消息入到hive
qq13321123的博客
05-11 1250
这数据仓库整个安装环境和调试过程确实折腾人，多次推倒重来（甚至不惜重装系统重来）。还好最后输入Kafka一条消息，在hive表里能看到一条记录，能看到结果之后，折腾或许是值得的。
datax测试 读mysql 写hdfs
comecheer.com
06-11 449
安装配置ant：下载 解压后配置环境变量ANT_HOME 同时将ANT_HOME/bin添加到PATH 安装配置mysql\ yum install mysql-server，安装完成后执行mysqladmin -u root password 'root'; grant all privileges on *.* to peter@'localhost' identified by ...
Kakfa-Flink-Hive集成原理和实战代码_flink作为hive的查询引擎如何实现(1)
2401_84572880的博客
05-15 486
在Flink 1.11版本中，社区新增了一大功能是实时数仓，可以通过kafka,将kafka sink端的数据实时写入到Hive中。为实现这个功能、Flink1.11将 FlieSystemStreaming Sink 重新修改，增加了分区提交和滚动策略机制。让HiveStreaming sink 重新使用文件系统流作为接收器。可以通过Flink社区，查看的设计思路。
kafka实时读取sqlserver数据_flink_sql_client 1.10 与 hive集成 读取实时数据
weixin_42512509的博客
01-09 600
很期待用纯sql的形式来处理流式数据，flink 1.10推出了生产可用的 Hive 集成，拥有了更强的流式 SQL 处理能力。这次我们就来尝试一下啦~~【本文大纲】1、环境准备2、SQL Client与hive集成配置3、用SQL Client读取kafka数据1、环境准备相关软件版本：linux版本：centos 6.5Java版本：jdk1.8Hive版本：hive-2.3.4Ha...
【flink-stream开发中，将 kafka 的数据写入 hbase 中】
2203_75584759的博客
09-20 1040
创建hive外部表关联hbase表（先创建hbase表，再创建hive外部表关联）
flink 1.17 输出算子教程从Kafka-->flink-->kafka，怎么做
最新发布
10-06
在Flink 1.17中，要从Kafka读取数据，经过处理后再输出到Kafka，可按以下步骤操作： ### 1. 引入依赖 需要在项目中引入Kafka连接器的依赖。在Maven项目的`pom.xml`文件中添加如下依赖： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka</artifactId> <version>1.17.0</version> </dependency> ``` ### 2. 从Kafka读取数据 Flink官方提供了连接工具`flink-connector-kafka`，可以使用`FlinkKafkaConsumer`或新的`KafkaSource`来读取Kafka数据。以下是使用`KafkaSource`的示例代码： ```java import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.connector.kafka.source.KafkaSource; import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; public class SourceKafka { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); KafkaSource<String> kafkaSource = KafkaSource.<String>builder() .setBootstrapServers("hadoop102:9092") .setTopics("topic_1") .setGroupId("atguigu") .setStartingOffsets(OffsetsInitializer.latest()) .setValueOnlyDeserializer(new SimpleStringSchema()) .build(); DataStreamSource<String> stream = env.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "kafka-source"); } } ``` ### 3. 数据处理 在获取到Kafka数据流后，可以对数据进行各种处理，例如简单的映射操作： ```java import org.apache.flink.streaming.api.datastream.DataStream; // ... 前面的代码 ... DataStream<String> processedStream = stream.map(data -> data.toUpperCase()); ``` ### 4. 将处理后的数据输出到Kafka 使用`KafkaSink`将处理后的数据输出到Kafka。示例代码如下： ```java import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema; import org.apache.flink.connector.kafka.sink.KafkaSink; import org.apache.kafka.clients.producer.ProducerRecord; import javax.annotation.Nullable; import java.nio.charset.StandardCharsets; // ... 前面的代码 ... KafkaRecordSerializationSchema<String> serializationSchema = new KafkaRecordSerializationSchema<String>() { @Override public ProducerRecord<byte[], byte[]> serialize(String element, @Nullable Long timestamp) { return new ProducerRecord<>("output_topic", element.getBytes(StandardCharsets.UTF_8)); } }; KafkaSink<String> kafkaSink = KafkaSink.<String>builder() .setBootstrapServers("hadoop102:9092") .setRecordSerializer(serializationSchema) .build(); processedStream.sinkTo(kafkaSink); env.execute(); ``` ### 完整代码示例 ```java import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema; import org.apache.flink.connector.kafka.sink.KafkaSink; import org.apache.flink.connector.kafka.source.KafkaSource; import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.kafka.clients.producer.ProducerRecord; import javax.annotation.Nullable; import java.nio.charset.StandardCharsets; public class FlinkKafkaExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); KafkaSource<String> kafkaSource = KafkaSource.<String>builder() .setBootstrapServers("hadoop102:9092") .setTopics("topic_1") .setGroupId("atguigu") .setStartingOffsets(OffsetsInitializer.latest()) .setValueOnlyDeserializer(new SimpleStringSchema()) .build(); DataStreamSource<String> stream = env.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "kafka-source"); DataStream<String> processedStream = stream.map(data -> data.toUpperCase()); KafkaRecordSerializationSchema<String> serializationSchema = new KafkaRecordSerializationSchema<String>() { @Override public ProducerRecord<byte[], byte[]> serialize(String element, @Nullable Long timestamp) { return new ProducerRecord<>("output_topic", element.getBytes(StandardCharsets.UTF_8)); } }; KafkaSink<String> kafkaSink = KafkaSink.<String>builder() .setBootstrapServers("hadoop102:9092") .setRecordSerializer(serializationSchema) .build(); processedStream.sinkTo(kafkaSink); env.execute(); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值