u010953880的专栏

Kafka连接服务器出现:Connection to node 1 (localhost/127.0.0.1:9092) could not be established._ARong's Blog-优快云博客修改server.properties的两行默认配置，即可通过外网连接服务器Kafka，问题解决：# 允许外部端口连接 listeners=PLAINTEXT://0.0.0.0:9092 #...

首先：1：kafka是拉取模式的消息队列，是消费者控制什么时候拉取消息的；2：每条消息都有一个偏移量，每个消费者都会跟踪最近消费消息的偏移量；当消费者消费某条消息失败时？有下面几种处理方式：1：重试，不停的重试，直到成功；可能导致的问题：问题是若是这条消息（通过目前的代码）可能永远不能消费成功，导致消费者不会继续处理后续的任何问题，导致消费者阻塞；2：跳过，跳过这条没有消费的消息；这个其实是不合理的，可能会造成数据不一致性；解决方案？1：方案一【重试】这里需要建立一个专门用于重试的

生产者分区策略用于管理生产者在生产数据的时候，数据是存储在哪个分区的策略；分区规则：在往生产者send数据的时候【指定分区法】：可以指定分区，直接指明分区partition的值；【key取模法】：当没有指定分区（也就是没有设置partition的值），但是发送消息的key我们是有的，这个时候会将key值的hash值和topic的分区数量（也就是有几个partition）进行取模，得到partiton的值；最后一种情况：【轮询法】：既没有指定分区，也没有key，这个时候，在第一次调用的时候，随机生

整理了对kafka消息队列的一些理解，和一些实际应用，可能也有一些面试常问的一些点；前言：一：消息队列的两种模式点对点模式（一对一） 消费者主动拉取数据，收到消息后清除； 一个queue支持多个消费者，但是对一个消息来说，只能被一个消费者消费；​​​​​​ 发布订阅模式（一对多） 消费者消费到数据后，不会删除消息； 发布给topic中的消息，会被所有的订阅者消费到； 其中kafka是基于发布订阅模式的，主动拉取数据，并消费后不会删除消息；二：发布订阅模式中又分两.

环境说明： 我们的kafka版本是：查看kafka版本，进入kafka容器：find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' kafka_2.11-2.2.1 前面为scala版本，后面为kafka版本。 样例说明：2.11为scala版本，2.2.1为kafka版本。 我的kafka容器名是kafka；注意： 不同kafka版本的命令有些不一样，有的还用z...