Kafka程序例子

最新推荐文章于 2024-05-01 18:09:11 发布
最新推荐文章于 2024-05-01 18:09:11 发布
阅读量5.8k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 流处理 Kafka 分布式 文章标签： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014492665/article/details/97496385
本文详细介绍Kafka的安装过程，包括前置条件Zookeeper的安装，以及在Windows环境下的具体步骤。随后，通过实例演示如何使用Kafka自带的消息生产者和消费者进行消息队列操作。

Kafka安装

安装Kafka前需要安装Zookeeper，因为Kafka需要Zookeeper做协调（Zookeeper不会参考Linux安装Zookeeper，我是安装在windows环境下，步骤差不多）安装好了之后安装Kafka Kafka下载地址
安装完成后：
1、启动zookeeper
2、启动Kafka cmd命令进入Kafka安装目录 ，目录位置如下
目录
进入这个目录之后 输入启动命令 ： .\bin\windows\kafka-server-start.bat .\config\server.properties
在这里插入图片描述
启动成功！

用Kafka自带消息生产者消费者演示消息队列

在安装目录下用topic创建topic：
cmd命令：.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test-kafka-topic (不懂参数可以参考博主上一篇博客基础概念）
在这里插入图片描述
可以看见创建了一个test-kafka-topic 的topic

查看已经存在的主题： .\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
在这里插入图片描述

创建一个生产者命令：.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test-kafka-topic
在这里插入图片描述
例外启动一个cmd 创建消费者： .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test-kafka-topic --from-beginning
在这里插入图片描述
–from-beginning 指从头开始消费

谢谢观看，下一篇用Java代码编写Kafka简单入门例子

【kafka】kafka 一些实用 程序 实用 脚本
九师兄
03-28 543
1.概述 官网 System tools can be run from the command line using the run class script (i.e. bin/kafka-run-class.sh package.class --options) 2.消费组offset查询 This tool has been removed in Kafka 1.0.0. Use kafka-consumer-groups.sh to get consumer group details. Di.
kafka 案例
最新发布
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
05-26 1257
System . out . println("消息发送成功！");} else {System . out . println("消息发送失败：" + exception . getMessage());} } });} }System . out . println("消息发送成功！");} else {System . out . println("消息发送失败：" + exception . getMessage());} } });} }
KafKa入门程序
学习之余随便记记
12-30 553
启动KafKa 下载KafKa解压版，在本地解压。 编写zk启动脚本 ./zookeeper-server-start …/…/config/zookeeper.properties 编写kafka启动脚本 ./kafka-server-start …/…/config/server.properties 启动zk 启动kafka 导入依赖 <dependencies> ...
Kafka编程实例
用心做事
08-29 3415
编程     Producer是一个应用程序，它创建消息并发送它们到Kafka broker中。这些producer在本质上是不同。比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer。这些不同的Producer能够使用不同的语言实现，比如java、C和Python。下面的这部图表解释了消息producer的Kafka API. 下面将详
Apache Kafka 0.9的示例程序入门
danpu0978的博客
04-25 244
流数据越来越受到许多组织的关注，并且大多数应用程序需要使用生产者-消费者模型来实时摄取和处理数据。 市场上目前存在许多消息传递解决方案，但为应对与物联网，大型基于Web的应用程序和相关大数据项目相关的现代部署的挑战而构建的解决方案很少。 Apache Kafka由LinkedIn构建，以解决这些挑战，并已部署在许多项目中。 Apache Kafka是一个快速，可扩展，持久和分布式的消息传...
kafka的java实例
qq_36535196的博客
03-07 498
import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; //kaf...
spring boot操作kafka例子
10-21
Spring Boot简化了Kafka的配置和使用，使得开发者能够快速地构建基于事件驱动的应用程序。 首先，让我们理解Kafka的基本概念。Apache Kafka是一个分布式流处理平台，它允许我们发布和订阅实时数据流。它具有高吞吐...
spring-kafka:spring集成kafka的例子，包含生产者和消费者
05-26
Apache Kafka是一种分布式流处理平台，常用于构建实时数据管道和流应用程序。下面将详细介绍Spring Kafka集成Kafka的基本概念、配置以及如何创建生产者和消费者。 一、Spring Kafka简介 Spring Kafka提供了一套API...
kafka java小例子
08-16
接下来，我们将通过一个简单的Java程序来演示如何使用Kafka。在"**kafkaDemoTest**"这个项目中，我们通常会包含以下两个关键部分：生产者（Producer）和消费者（Consumer）。 1. **生产者实现**： 要创建一个Kafka...
kafka java maven例子
05-28
在Java开发环境中，Apache Kafka是一个广泛使用的分布式流处理平台，它允许开发者构建实时数据管道和流应用程序。这个“kafka java maven例子”是针对初学者的一个很好的起点，旨在帮助理解如何使用Java和Maven来...
Kafka基础知识及示例
lixin1997的博客
08-30 310
Kafka简单示例
kafka中生产者和消费者API
weixin_33738555的博客
06-03 613
使用idea实现相关API操作，先要再pom.xml重添加Kafka依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.8.2</artifactId> ...
Kafka系列之第一个kafka程序
wuguofei12345的博客
03-25 554
1.创建一个springboot的工程 2.pom.xml添加原始的kafka maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>2.1...
Kafka-入门程序单机版（非集群）
m0_56726104的博客
09-09 324
--单机版，学习用入门程序 1.下载Kafka 下载地址：http://archive.apache.org/dist/kafka/（也可以去官网） 下载后上传到服务器，这里对小白友好点（我自己也是），用shell工具托上去就行，任意放一个目录，我喜欢放在 /usr/local/src/kafka/ 下面 tar -zxvf kafka_2.12-2.2.2.tgz.gz解压，解压到哪里都行，你自己喜欢就行 Kafka官网下载地址：http://kafka.apache.org/downl
【数据采集与预处理】数据接入工具Kafka
Morse_Chen的博客
12-28 3913
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。本文主要介绍Kafka以及安装配置。
Kafka介绍、安装以及操作
Libra_97的博客
05-01 3506
Kafka介绍、安装和操作
kafka安装及基础使用
qq_42988315的博客
04-20 1265
服务注册管理中心，ZooKeeper是一个用于维护配置信息、命名、提供分布式同步和提供组服务的集中式服务。分布式应用程序以某种形式使用所有这些类型的服务。每次实现它们时，都要做大量的工作来修复不可避免的错误和竞争条件。由于实现这类服务的困难，应用程序最初通常会对它们吝啬，这使得它们在发生变化时变得脆弱，难以管理。即使操作正确，在部署应用程序时，这些服务的不同实现也会导致管理的复杂性。ip角色masterslaveslaveZooKeeper 集群用于解决单点和单机性能及数据高可用等问题。
我以为我对Kafka很了解，直到我看了此文章
weixin_30375427的博客
09-16 239
Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。 现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。 活动数据包括页面访问量(Page View)、...
kafka详解
qq_54247497的博客
06-28 3139
kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。
SpringBoot 集成kafka的例子
06-11
好的，下面是一个基于Spring Boot的Kafka应用程序的示例代码。这个示例应用程序包含了一个生产者和一个消费者，用于发送和接收Kafka消息。 首先，我们需要添加以下依赖项到我们的pom.xml文件中： ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> ``` 接下来，我们需要配置Kafka相关的bean。在这个示例中，我们使用了KafkaAutoConfiguration和KafkaProperties来配置KafkaTemplate和其他Kafka相关的bean。我们还定义了一个名为kafkaListenerContainerFactory的KafkaListenerContainerFactory bean，用于配置消息监听器容器。 ``` @Configuration @EnableKafka public class KafkaConfig { @Value("${spring.kafka.bootstrap-servers}") private String bootstrapServers; @Bean public KafkaTemplate<String, String> kafkaTemplate() { return new KafkaTemplate<>(producerFactory()); } @Bean public ProducerFactory<String, String> producerFactory() { Map<String, Object> producerConfigProps = new HashMap<>(); producerConfigProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); producerConfigProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); producerConfigProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); return new DefaultKafkaProducerFactory<>(producerConfigProps); } @Bean public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); return factory; } @Bean public ConsumerFactory<String, String> consumerFactory() { Map<String, Object> consumerConfigProps = new HashMap<>(); consumerConfigProps.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); consumerConfigProps.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group"); consumerConfigProps.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); consumerConfigProps.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); return new DefaultKafkaConsumerFactory<>(consumerConfigProps); } } ``` 接下来，我们可以定义一个生产者类，用于发送Kafka消息。在这个示例中，我们使用了一个Rest API来触发生产者发送消息的操作。 ``` @RestController public class KafkaProducerController { @Autowired private KafkaTemplate<String, String> kafkaTemplate; @PostMapping("/kafka/send") public void sendMessage(@RequestParam String message) { kafkaTemplate.send("test-topic", message); } } ``` 最后，我们可以定义一个消费者类，用于接收Kafka消息。在这个示例中，我们使用了@KafkaListener注解来声明一个消息监听器方法，用于接收Kafka消息。 ``` @Service public class KafkaConsumer { @KafkaListener(topics = "test-topic", groupId = "test-group") public void listen(String message) { System.out.println("Received message: " + message); } } ``` 这就是一个基于Spring Boot的Kafka应用程序的示例代码。我们可以运行这个示例应用程序，并使用Rest API来触发生产者发送消息的操作，然后在控制台上查看消费者接收到的消息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值