Computer_hello的博客

1/ 生产端 Producer消息格式：每个消息是一个 ProducerRecord 对象，必须指定消息所属的 Topic 和消息值 Value ，此外还可以指定消息所属的 Partition 以及消息的 Key。Producer 生产数据默认是先写到内存（PageCache）中的,定期 flush 到磁盘上。默认的这个参数是：设置较小定期 flush 的时间，并不能真正保证数据不会丢失。通过查看官方提供的默认配置 Long.MaxValue 也可以看出，官方是不建...

Kafka 消息重复消费原因Kafka 消息重复消费原因kafka每个消息写进去，都有一个offset，代表他的序号。然后consumer消费了数据之后，每隔一段时间，会把自己消费过的消息的offset提交一下提交到zookeeper，代表我已经消费过了，下次要是重启，你就让我继续从上次消费到的offset来继续消费吧。如果因为一些死机等原因， 导致consumer有些消息处理了，但是没来得及提交offset。重启之后，这些未提交的offset的消息会再消费一次。如何避免？.

作为消息队列来说，企业中选择mq的还是多数，因为像Rabbit，Rocket等mq中间件都属于很成熟的产品，性能一般但可靠性较强，而kafka原本设计的初衷是日志统计分析，现在基于大数据的背景下也可以做运营数据的分析统计，而redis的主要场景是内存数据库，作为消息队列来说可靠性太差，而且速度太依赖网络IO，在服务器本机上的速度较快，且容易出现数据堆积的问题，在比较轻量的场合下能够适用。RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息.

11、LEO、LSO、AR、ISR、HW 都表示什么含义?LEO:Log End Offset。日志末端位移值或末端偏移量，表示日志下一条待插入消息的 位移值。举个例子，如果日志有 10 条消息，位移值从 0 开始，那么，第 10 条消息的位 移值就是 9。此时，LEO = 10。 LSO:Log Stable Offset。这是 Kafka 事务的概念。如果你没有使用到事务，那么这个 值不存在(其实也不是不存在，只是设置成一个无意义的值)。该值控制了事务型消费 者能够看到的消息范围。它经常与 Log

问题1：什么是Apache Kafka?答：Apache Kafka是一个发布 - 订阅开源消息代理应用程序。这个消息传递应用程序是用“scala”编码的。基本上，这个项目是由Apache软件启动的。Kafka的设计模式主要基于事务日志设计。问题2：Kafka中有哪几个组件?答：Kafka最重要的元素是：主题：Kafka主题是一堆或一组消息。生产者：在Kafka，生产者发布通信以及向Kafka主题发布消息。消费者：Kafka消费者订阅了一个主题，并且还从主题中读取和处理消息。..

1.继承Thread类package a;public class ExtendsThread extends Thread{ public static void main(String[] args){ new ExtendsThread().printNumber(); } @Override public void run(){ this.printNumber(); } public void prin

1.kafka的配置信息#kafka配置信息#生产者的地址信息spring.kafka.producer.bootstrap-servers=******:9092#消费者的地址信息spring.kafka.consumer.bootstrap-servers=******:90922.kafka代码开发package com.example.kafka.controller;import lombok.extern.slf4j.Slf4j;import org.apache.

JDK已经安装好准备安装包将安装包解压查看安装包创建一个数据目录配置环境变量编辑文件添加内容配置生效启动之前要先启动zookeeper服务器，zookeeper是为kafka提高协调服务的工具。kafka已经内置了一个zookeeper服务器以及一些启动脚本编辑配置文件zookeeper.properties配置内容dataDir=/usr/local/kafka_2.12-1.0.0/data/cli...

1.kafka中topic的概念在kafka中，topic只是存储消息的一个逻辑的概念，他并没有实际的文件存在磁盘上，可以认为是某一类型的消息的集合。所有发送到kafka上的消息都一个类型，这个类型就是他的topic。在物理上来说，不同的topic的消息是分开存储的。同时，一个topic可以有多个producer和多个consumer。2.kafka中partition的概念每个topic下面可以有多个分区，每一个topic至少会有一个partition，相同的topic下面，不同的partit

1.启动kafka。//启动zookeeper server (用&是为了能退出命令行)：bin/zookeeper-server-start.sh config/zookeeper.properties&//启动kafka server:bin/kafka-server-start.sh config/server.properties&2.新建一个生产者例子import java.util.Properties;import kafka...

kafka 提供了两套 consumer API：1. The high-level Consumer API2. The SimpleConsumer API其中 high-level consumer API 提供了一个从 kafka 消费数据的高层抽象，而 SimpleConsumer API 则需要开发人员更多地关注细节。1.1The high-level consumer APIhigh-level consumer API 提供了 consumer group 的语义，一..

1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zook...

Java版Kafka使用及配置解释一.Java示例kafka是吞吐量巨大的一个消息系统，它是用scala写的，和普通的消息的生产消费还有所不同，写了个demo程序供大家参考。kafka的安装请参考官方文档。引入Maven库首先我们需要新建一个maven项目，然后在pom中引用kafka jar包，引用依赖如下： <dependency> <groupId>org.apache.kafka</groupId> &l