flink将数据写入到kafka

最新推荐文章于 2025-06-04 13:52:38 发布
最新推荐文章于 2025-06-04 13:52:38 发布
阅读量4.7k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： flink 入门到精通 文章标签： kafka flink zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/congge_study/article/details/122507491
本文介绍如何在Flink中读取外部文件数据，经过处理后写入到Kafka的特定topic。首先启动Kafka服务和消费者端，接着演示读取文件并写入到Kafka的代码实现，最终验证数据成功写入。

前言

在之前的一篇中，我们谈到在flink中如何读取来自kafka指定topic的数据，在实际生产环境中，比较常见的场景是，kafka作为数据源，flink程序读取到kafka的数据后，进行初步的处理后，再将数据会写到kafka的另一个topic中，供后面的应用读取使用

本例模拟从外部文件中读取数据，然后写入到kafka的指定topic中

环境准备

启动kafka服务，并通过控制台启动kafka指定topic的消费端窗口，这里我们还是使用之前那个 "zcy"的topic，使用下面的命令启动消费端窗口

./kafka-console-consumer.sh --bootstrap-server IP:9092 --topic zcy

我们仍然读取下面的文件数据

 

核心代码编写


                

        

    



  


        

                

                  

                  

                  了解本专栏
                  
                  
                    
                  订阅专栏 解锁全文
                   
                  
                    
                    超级会员免费看
                  
                

            
            
            
        


    



                



	

		

			

				
					
Flink与Kafka集成：构建实时数据处理管道的完整指南

				
			

			

				

					SuperAGI2025
				

				

					10-05
					
					1065
					
				

			

		

		

			
				
本文旨在为开发者和架构师提供一份全面的Flink与Kafka集成指南，涵盖从基础概念到高级应用的全方位知识。Flink与Kafka的核心概念与协同工作原理如何设计和实现高效的实时数据处理管道实际生产环境中的最佳实践和常见问题解决方案核心概念与联系：介绍Flink和Kafka的基本原理及协同工作机制集成架构设计：详细解析Flink-Kafka集成的技术架构代码实现：通过实际案例展示如何构建实时数据处理管道生产实践：分享性能调优、监控和故障处理经验未来展望：探讨技术发展趋势和潜在挑战。

			
		

	



                

            
              



	

		

			

				
					
Flink 读写Kafka总结

				
			

			

				

					主要分享大数据相关的知识，如Spark、Hudi
				

				

					07-05
					
					2301
					
				

			

		

		

			
				
总结Flink读写Kafka。

			
		

	



              


  
              

                


	

		

			

				
					
Flink Flink数据写入Kafka

				
			

			

				

					文文x的博客
				

				

					12-06
					
					2878
					
				

			

		

		

			
				
flink官方集成了通用的 Kafka 连接器，使用时需要根据生产环境的版本引入相应的依赖。通过socket模拟数据写入Flink之后，Flink将数据写入Kafka。

			
		

	





	

		

			

				
					
Flink写入Kafka

				
			

			

				

					weixin_45264992的博客
				

				

					10-12
					
					2017
					
				

			

		

		

			
				
Flink写入Kafka
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.strea

			
		

	



		

			
		



	

		

			

				
					
demo flink写入kafka_Flink 写入数据到 Kafka

				
			

			

				

					weixin_28813401的博客
				

				

					02-23
					
					635
					
				

			

		

		

			
				
Flink 写入数据到Kafka前言通过Flink官网可以看到Flink里面就默认支持了不少sink，比如也支持Kafka sink connector(FlinkKafkaProducer)，那么这篇文章我们就来看看如何将数据写入到Kafka。准备Flink里面支持Kafka 0.8、0.9、0.10、0.11.这里我们需要安装下Kafka，请对应添加对应的Flink Kafka connect...

			
		

	





	

		

			

				
					
6.2、Flink数据写入到Kafka

				
			

			

				

					向热爱自己一样，热爱这个世界。
				

				

					09-13
					
					3327
					
				

			

		

		

			
				
Flink数据写入到Kafka

			
		

	





	

		

			

				
					
demo flink写入kafka_《从0到1学习Flink》—— Flink 写入数据到 Kafka

				
			

			

				

					weixin_39517289的博客
				

				

					01-14
					
					129
					
				

			

		

		

			
				
前言之前文章 《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector(FlinkKafkaConsumer)。存入到 ES 只是其中一种情况，那么如果我们有多个地方需要这份通过 Flink 转换后的数据，是不是又...

			
		

	





	

		

			

				
					
flink实时产生的数据流式写入到kafka中

				
			

			

				

					不会写代码
				

				

					01-11
					
					1435
					
				

			

		

		

			
				
flink实时产生的数据流式写入到kafka中
package cn.itcast.day03.sink;

import cn.itcast.day03.source.custom.MyNoParallelSource;
import cn.itcast.day03.source.custom.Order;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.data

			
		

	





	

		

			

				
					
Flink tableapi数据写入kafka

				
			

			

				

					qq_43118086的博客
				

				

					10-19
					
					535
					
				

			

		

		

			
				
tableEnv.connect(new Kafka()
      .topic("sensor_sink")
      .version("0.11")
      .property("zookeeper.connect","localhost:2181")
      .property("bootstrap.servers","localhost:9092")
    )
      .withFormat(new Csv())
      .withSchema(new Schema(...

			
		

	





	

		

			

				
					
使用flink api把数据写到kafka topic

				
			

			

				

					wuchongyong的博客
				

				

					05-16
					
					678
					
				

			

		

		

			
				
在上面的示例中，我们首先设置了 Kafka 生产者的属性。然后，我们创建了 Flink 流处理环境，并从数据源获取了一个数据流。接下来，我们创建了一个 FlinkKafkaProducer，将数据流写入 Kafka 主题 “my-topic”。最后，我们执行了流处理程序。在 Flink 中，我们可以使用 Flink 的 Kafka Connector 将数据流写入 Kafka 主题。需要注意的是，在实际生产环境中，我们需要根据实际情况配置 Kafka 生产者的属性，例如设置序列化器、缓冲区大小等。

			
		

	





	

		

			

				
					
flink 将数据写入到kafka

				
			

			

				

					weixin_43847900的博客
				

				

					06-08
					
					753
					
				

			

		

		

			
				
下面展示一些 内联代码片。
package io.github.flink.test

/**
  * Flink 没有类似于 spark 中 foreach 方法，让用户进行迭代的操作。虽有对外的
  * 输出操作都要利用 Sink 完成。最后通过类似如下方式完成整个任务最终输出操作。
  * stream.addSink(new MySink(xxxx))
  */
import org.apache.flink.api.common.serialization.SimpleStringSchema
i

			
		

	





	

		

			

				
					
kafka maven 依赖_Flink的sink实战之二：kafka

				
			

			

				

					weixin_39692623的博客
				

				

					11-22
					
					565
					
				

			

		

		

			
				
本文是《Flink的sink实战》系列的第二篇，《Flink的sink实战之一：初探》对sink有了基本的了解，本章来体验将数据sink到kafka的操作；版本和环境准备本次实战的环境和版本如下：JDK：1.8.0_211Flink：1.9.2Maven：3.6.0操作系统：macOS Catalina 10.15.3 (MacBook Pro 13-inch, 2018)IDEA：2018.3....

			
		

	





	

		

			

				
					
Flink KafkaProducer

				
			

			

				

					Claroja
				

				

					12-24
					
					2718
					
				

			

		

		

			
				
package com.claroja;

import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.fl

			
		

	





	

		

			

				
					
flink 写kafka_Flink1.9整合Kafka实战

				
			

			

				

					weixin_26841743的博客
				

				

					12-27
					
					2279
					
				

			

		

		

			
				
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！本文基于Flink1.9版本简述如何连接Kafka。流式连接器我们知道可以自己来开发Source 和 Sink ，但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。预定义的source支持从文件、目录、socket，以及 collections 和 iterators 中...

			
		

	





	

		

			

				
					
Flink与Kafka

					
最新发布

				
			

			

				

					Suzy_Leili的博客
				

				

					06-04
					
					1980
					
				

			

		

		

			
				
Apache Flink是一个流处理框架，用于处理大量实时数据。它支持数据流和数据集两种操作模式，可以处理批量数据和流式数据。Flink提供了一种高效的、可扩展的、可靠的流处理解决方案，适用于各种应用场景，如实时分析、事件驱动应用、数据流处理等。具体来说，Flink可以作为Kafka的消费者，从Kafka中读取数据，并进行流处理。同时，Flink也可以将处理结果写入Kafka，实现数据的持久化和分布式传输。因此，Flink和Kafka在数据流处理中具有很高的兼容性和可扩展性。

			
		

	





	

		

			

				
					
Flink（十九）—— Flink 写入数据到 Kafka

				
			

			

				

					weixin_42073629的博客
				

				

					10-15
					
					3209
					
				

			

		

		

			
				
前言

之前文章—— Flink 写入数据到 ElasticSearch写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector（FlinkKafkaConsumer）。存入到 ES 只是其中一种情况，那么如果我们有多个地方需要这份通过 Flink 转换后的数据，是不是又要我们继续写个 sink 的插件呢？确实，所以 Flink 里面就默认支持了不少 sink，比如也支持 Kafka sink conn..

			
		

	





	

		

			

				
					
【Flink基础】-- 写入 Kafka 的两种方式

				
			

			

				

					欢迎来到我的博客，一起探索代码里的世界！
				

				

					04-20
					
					4707
					
				

			

		

		

			
				
方式一：用 Robin 的方式写入 Kafka

1、实现 exactly-once 语义的 kafka sink，用 Robin 的方式写入 Kafka

2、randomRobin: 创建 FlinkKafkaProducer 时，指定空的 customPartitioner，flink 会把 一个 sink subtask 的数据以 round-robin 方式写入 kafka 的各个分区
...

			
		

	





	

		

			

				
					
【Flink】从Kafka写入Kafka（带完整源码，直接可使用）

				
			

			

				

					一杯咖啡半杯糖的博客
				

				

					11-14
					
					1437
					
				

			

		

		

			
				
本博客基于1.13.6版本Flink，在Flink实际生产过程中需要把数据从kafka中读取，处理后写入kafka中继续其他的逻辑，本博客支持精准一次写入flink操作，适用于建设实时数仓过程中以及一些需要flink处理kafka的需求中，本程序可以在本地运行，也可提交到yarn上运行，有完整的Flink代码，已完成编译，开箱简单修改即可用，避免了大家编程、编译、提交yarn上的一些错误。
本工程提供
1、项目源码及详细注释，简单修改即可用在实际生产代码
2、成功编译截图
3、linux提交命令

			
		

	





	

		

			

				
					
flink mysql cdc  写入到kafka 如何处理过程数据

				
			

			

				

					03-08
				

			

		

		

			
				
对于这个问题，可以使用 Flink CDC 将 MySQL 数据库中的更改数据捕获到 Flink 中，然后使用 Flink 的 Kafka 生产者将数据写入 Kafka 主题。在处理过程数据时，可以使用 Flink 的流处理功能对数据进行转换、聚合、过滤等操作，然后将结果写回到 Kafka 中，供其他系统使用。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
逆风飞翔的小叔

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值