Asa_Prince的博客

背景: 在公司的SpringBoot项目中使用注解 @org.springframework.kafka.annotation.KafkaListener 的时候，kafka的topic可以使用注解中的topics属性自行设定，但是问题是，公司在每个环境的topicName不一样，项目的结构是SpringBoot在启动的时候会读取相应环境（int、uat、pro）的yml文件，所以现在的问题是...

本篇会用到以下依赖：<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.10.2.0</version></dependency&g...

一、下载安装想要查看和管理Kafka，完全使用命令并不方便，我们可以使用雅虎开源的Kafka-manager，GitHub地址如下：https://github.com/yahoo/kafka-manager我们可以使用Git或者直接从Releases中下载，此处从下面的地址下载 1.3.3.7 版本：https://github.com/yahoo/kafka-manage...

常用的几个命令如下：kafka-server-start.sh kafka-console-consumer.sh kafka-console-producer.sh kafka-topics.sh在这几个命令中，第一个仅用于启动Kafka，后两个console常用于测试，用途最多的是最后一个命令，所以下面命令中主要介绍的就是 kafka-topics.sh。kafka-se...

Kafka支持Linux和WIndows环境(Windows环境请转移我的另一篇文章-->Windows平台kafka环境的搭建)，本文运行环境使用Linux（CentOS）。一、下载KafkaKafka官方地址为：https://kafka.apache.orgKafka官方文档非常的详细，提供的快速入门也很友好，虽然是英文的，但是看命令就能明白，快速入门地址为：https...

一、Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。Apache Kafka是一个开源消息系统，由Scala写成。Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer,...

之前介绍了如何在SpringBoot中集成Kafka,但是默认情况下，@KafkaListener都是一条一条消费，如果想要一次消费一个批量的话，我们都知道，在kafka原生的API可以通过poll(num)来获取一次获取num条消息：那么使用在Springboot中使用@KafkaListener能否实现批量监听呢？看了spring-kafka的官方文档https://docs.spri...

一、pom文件引入kafka所需jar包<!--kafka支持--><dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.3...

注意：请确保本地Java环境变量配置成功1.安装ZookeeperKafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper1.1 下载安装文件： http://mirror.bit.edu.cn/apache/zookeeper/1.2 解压文件（本文解压到 D:\zookeeper-3.4.8）1.3 打开D:\zookeeper...

一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。但是问题又来了，应用耦合、异步消息、流量削锋？ 这些专业名词又是指什么呢？下...