liuwei0376的专栏

在删除kafka topic时，有时候会发现无法彻底删除的情况，这里以cdh这个版本的 kafka 作为实验版本。 环境说明： 环境 & 软件 版本 LinuxOS CentOS 7 CDH cdh5.16.2 kafka 0.11.0 ， 基于ClouderaManager 以 parcel方式安装 核心配置： 1、topic自动删除开关置为true delete.topic.enable=true 也可以在这里配置： 2、自动创建topic设置为false aut

kafka-mgr.sh 脚本清单： #!/bin/bash if [ $# -lt 1 ] then echo "Please type parameter like <start> or <stop>" exit ; fi case $1 in "start"){ echo " ================= 启动 Kafka集群 =================" for host in hadoop

一. 背景 CDH集群的parcels安装包里,已经内置了Kafka服务,用户安装kafka集群时,无需下载apache社区版, 即可在cloudera manager里进行开箱即用的集群安装, 如下: 但是在具体使用过程中, CDH版的kafka命令与apache社区版还是有较大的不同. CDH版kafka命令, 主要有以下几类: 命令名称 说明 kafka-topics kafka topic的CURD + describe kafka-console-producer kafka

1. create topiccreate a topic with 3 replications:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-pvuv-topic2.check topic info:bin/kafka-topics.

Kafka中，topic是逻辑上的概念，而partition是物理上的概念。不用担心，这些对用户来说是透明的。生产者（producer）只关心自己将消息发布到哪个topic，而消费者（consumer）只关心自己订阅了哪个topic上的消息，至少topic上的消息分布在哪些partition节点上，它本身并不关心。 如果没有分区的概念，那么topic的消息集合将集中于某一台服务器上，单节点的存储性能

原文地址：http://blog.youkuaiyun.com/vegetable_bird_001/article/details/51858915，学习转载，致谢 主要优化原理和思路 kafka是一个高吞吐量分布式消息系统，并且提供了持久化。其高性能的有两个重要特点： 利用了磁盘连续读写性能远远高于随机读写的特点；并发，将一个topic拆分多个partition。

原文出处：https://www.cnblogs.com/huxi2b/p/6223228.html 转载请注明出处。 ------------------------------------------------------------------------------------------------------------------------------------------...