学无止境

kafka主题的管理主题的管理创建主题查看主题查看topic元数据信细查看所有主题查看特定主题修改主题删除主题增加分区KafkaAdminClient应用The main content :kafka主题的管理KafkaAdminClient应用主题的管理创建主题bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic topicone --partitions 2 --replicationfactor 1local

kafka重要概念理解初始kafka特性kafka 适用场景技术优势kafka关键词概念详解ProducerConsumerTopicPartitionPartition offsetReplicas of partitionBrokerLeader FollowerZookeeperAR(Assigned Replicas)ISR(In-Sync Replicas)OSR(Out-of-Sync-Replicas)HW(High Watermark)LEO(Log End Offset)初始kafka

通过Java程序来进行Kafka收发消息的演示Kafka自身提供的Java客户端来演示消息的收发，与Kafka的Java客户端相关的Maven依赖如下：<properties> <scala.version>2.11</scala.version> <slf4j.version>1.7.21</slf4j.version> <kafka.version>2.0.0</kafka.

文章目录1. jdk 环境安装配置配置环境变量2. ZooKeeper的安装3. kafka安装与配置4. kafka消息生产与消费测试创建主题生产者消费者附: jps 用法参数说明1. jdk 环境安装配置官网下载JDKhttps://www.oracle.com/technetwork/java/javase/downloads/jdk12-downloads-5295953.html将jdk 拷贝至 /opt/java 目录下解压: tar -xvf jdk-12.0.1_linux-x6

kafka的分区副本机制分区Leader选举☆分区重新分配☆创建集群和主题查看主题详情再添加一个分区再添加一个节点重新分配修改副本因子分区策略RangeAssignor分配策略RoundRobinAssignor分配策略StickyAssignor自定义分配策略主要内容 : kafka分区的管理 ; 分区重新分配Kafka可以将主题划分为多个分区（Partition），会根据分区规则选择把消息存储到哪个分区中，只要 如果分区规则设置的合理，那么所有的消息将会被均匀的分布到不同的分区中，这样就实

＠toctips深入学习Kafka数据消费大致流程如何创建并使用Kafka消费者 Kafka消费者常用配置消费者概念消费者和消费组Kafka消费者是消费组的一部分，当多个消费者形成一个消费组来消费主题时，每个消费者会收到不同 分区的消息。假设有一个T1主题，该主题有4个分区；同时我们有一个消费组G1，这个消费组只有一个 消费者C1。那么消费者C1将会收到这4个分区的消息Kafka一个很重要的特性就是，只需写入一次消息，可以支持任意多的应用读取这个消息。换句话说， 每个应用都可以读到全量

toc参数配置：config/server.propertieszookeeper.connect指明Zookeeper主机地址，如果zookeeper是集群则以逗号隔开，如： 172.6.14.61:2181,172.6.14.62:2181,172.6.14.63:2181eg: zookeeper.connect=localhost:2181 (kafuka和zookeeper在同一台服务器上部署)listeners监听列表，broker对外提供服务时绑定的IP和端口。多个以逗号隔开，

kafka生产者详解1. 消息发送Kafka Java客户端数据生产流程解析必要参数配置poll方法参数发送类型发送即忘记同步发送异步发送序列化器自定义序列化器示例分区器拦截器使用场景拦截器示例:使用拦截器2. 消息发送过程流程描述消息发送的方式Kafka发送消息的具体流程图3. 生产者常用参数配置acksretiresbatch.sizelinger.msmax.request.size总结Kafka数据生产大致流程如何创建并使用Kafka生产者Kafka生产者常用配置1. 消息发送Kafk

rabbitMq-持久化1. 交换机持久化2. 队列持久化为什么要持久化，目的就是避免消息丢失。那么如何避免消息丢失？1） 消费者的ACK机制。可以防止消费者丢失消息（手动ack）。2） 但是，如果在消费者消费之前，MQ就宕机了，消息就没了，所以要将消息持久化，前提是：队列、Exchange都持久化。1. 交换机持久化 channel.exchangeDeclare(EXCHAN...

rabbitMq消息模型1. 发布-订阅模式介绍2. 订阅模型-Fanout2.1 生产者2.2 消费者12.2 消费者22.3 测试3. 订阅模型-Direct3.1 生产者3.2 消费者13.3 消费者23.4 测试4. 订阅模型-Topic4.1 生产者4.2 消费者14.3 消费者2传递一个信息给多个消费者。 这种模式被称为“发布/订阅”。1. 发布-订阅模式介绍1、1个生产者，多个...

work消息模型1. 工作队列或者竞争消费者模式2. 生产者3. 消费者13. 消费者24. 能者多劳1. 工作队列或者竞争消费者模式上篇基本消息模型中是从一个命名队列中发送并接受消息。在这里，将创建一个工作队列，在多个工作者之间分配任务。工作队列，又称任务队列。主要思想就是避免执行资源密集型任务时，必须等待它执行完成。相反我们稍后完成任务，我们将任务封装为消息并将其发送到队列。 在后台运行...

基本消息模型1. 搭建demo工程2. 基本消息模型概述3. 代码实现3.1 生产者3.2 消费者3.3 消息确认机制（ACK）3.4 自动ACK存在的问题3.5 演示手动ACK1. 搭建demo工程首先创建一个工程rabbitmq_demo（开发工具idea）,之后的消息模型demo都基于此工程用的springboot版本比较高，2.2.2的，根据需要选择吧。创建完成后，会开始下载所需...

CentOS7安装RabbitMQ与登录1. 下载2. 安装2.1 安装erlang语言环境2.2 安装rabbitmq3. 配置可视化-登录rabbitMQ管理页面3.1. 首先添加可视化插件：3.2. 安装成功后登录3.3 登录失败问题处理本文参考 ：https://www.cnblogs.com/yunwangjun-python-520/p/11296093.html#_label0_...

消息队列（MQ）1. 简介2. AMQP和JMS3. 常见的MQ产品消息队列，即MQ，Message Queue。1. 简介消息队列是典型的：生产者、消费者模型。生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入，这样就实现了生产者和消费者的解耦。2. AMQP和JMSMQ是消息通信的模型，并不是...