Be yourself.

基础配置-基础配置 -安全配置1 基础配置主要配置参数有broker.id=0port=9092localhost=127.0.0.1 内网地址advertised.host.name=阿里云外网映射地址delete.topic.enable=truelisteners = PLAINTEXT://your.host.name:9092log.dirs=/tmp/kafka-lo

前言近来，老有朋友询问Kafka SASL配置 & Demo测试这篇文章的相关内容。近来无事，准备将所以的组件打成镜像。此处，便讲的为 Kafka SASL/PLAIN权限验证镜像模块的构建。前置熟悉文章：Kafka SASL配置 & Demo测试Kafka常用命令(带SASL权限版)First Try由于Docker化的Kafka存在一定的缺陷和问题。第一次尝试的...

Question之前在构建自己的Kakfa-Cluster的Docker镜像时，遇到一个映射关系的问题。其实，感觉这是Kafka的一个Bug。即，Kafka在容器内配置localhost:9092，并把端口映射出去。Docker外是无法访问到的。Solutions使用advertised.host.name和advertised.host.port 外网映射requirement ...

前言周一，送走了之前的小伙伴离开了上海。哎，在上海能够说话的人又少了一个。好了，不多说，我们开始今天的话题。前置要求之前，我们成功的在Docker内构建了ZooKeeper镜像，今天我们在这个镜像的基础上进行操作。dockeryanxml/zookeeperdocker compose(compose命令需要)正式操作首先，从官方下载Kafka安装包。wget "ht...

前言一般需要使用的Kafka原生命令多位于bin目录，其下具有的脚本如下kafka-topics.sh kafka-console-producer.shkafka-console-consumer.shkafka-acls.shkafka-consumer-groups.shkafka-server-start.sh kafka-server-stop....

引言接到一个任务，调查一下Kafka的权限机制。捣鼓了2天，终于弄出来了。期间走了不少的坑。还有一堆不靠谱的家伙的博客。Kafka版本 1.0.0 Scala 2.11 ZooKeeper 2.4.10根据Kafka的官网文档可知，Kafka的权限认证主要有如下三种:SSLSASL(Kerberos) keytool&opssl脚本配置证书SASL/PLAIN...

前言很久没有深入调研Kafka了，最近开始研究起来。最好能够弄一份源码，满满细读。本文主要讲解如何写一个Kafka的官方样例。 PS: 哎，Kafka迭代了好几个版本了，周围的人也是物是人非。Demo本文的Demo主要包括如下的几个部分:Maven 依赖ProviderConsumer启动入口前置条件: JDK、Maven、Kafka集群(Kafka+Zoo...

Kafka基本操作命令感觉最近有一阵子没有玩Kafka了，都有点生疏了，我们今天就来讲解如何使用命令操作Kafka：启动命令创建Topic查看Topic列表删除TopicProducer和Consumer 写入和消费数据其他命令根据前一篇如何在阿里云上构建Kafka系统，想必大家都已经知道了如何配置Kafka了，但是有了Kafka后应当如何进行下一步的操作呢？这便是本节的主要内容了。1

简介在一台ECS阿里云服务器上构建Kafa单个集群环境需要如下的几个步骤：服务器环境JDK的安装ZooKeeper的安装Kafka的安装1. 服务器环境CPU： 1核 内存： 2048 MB (I/O优化) 1Mbps操作系统 ubuntu14.04 64位 感觉服务器性能还是很好的，当然不是给阿里打广告，汗。 随便向kafka里面发了点数据，性能图如下所示： 2.

前言本章记录下Kafka在使用过程中的相关问题.数据量: 5000-2W条/分钟.相关问题数据丢失&数据重发发送数据端, 在压力过大的时候, 又可能出现数据丢失的情况. 这时可以启动Kafka的重发机制. 极端情况, 可以将判断值调成99999, 这样Kafka一旦出现消息发送错误, 就会无限制的重复发送.此外, 还可以通过记录日志的情况. 将数据发送失败的数据通过异常记...