没有合适的昵称

Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh Kafka Producer压力测试 1.在kafka的bin目录下面有这两个文件 bin/kafka-producer...

备注:默认你安装了zk集群 kafka的安装 下载上传解压 1.下载 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz 2.上传到master机器的~/bigdata/下 3.解压： tar -xzf kafka_2.11-1.0.0.tgz 在master上修改配置 1.cd ~/bigdat...

kafka是什么 1.在2016年之前，Kafka的定位是高吞吐量分布式消息系统，以下图片是2016年之前Kafka官网的标志图片： 2.但是从2016年后，Kafka的定位是分布式流式处理平台，以下图片是Kafka官网的标志图片： kafka的一些应用场景 1.Messaging System(消息系统) 2.Storge System(存储系统，Kafka支持分布式数据存储，但是数据默认只...

Kafka事务 说到事务，我们都知道传统数据库，比如Oracle和Mysql，都是支持事务的，在一个事务中的所有的数据库操作，要么全部成功，要么全部失败，先看一下下面的伪代码： begin transaction # 开启事务,然后进行表的各种操作 update table1; delete table2 where …; update table2; end transaction # 提...

Kafka消息传递语义(Message Delivery Semantics) 对于消息传递语义，一般存在三种类型语义: 1.At most once - 消息传递过程中有可能丢失，丢失的消息也不会重新传递，其实就是保证消息不会重复发送或者重复消费 2.At least once - 消息在传递的过程中不可能会丢失，丢失的消息会重新传递，其实就是保证消息不会丢失，但是消息有可能重复发送或者重新被消...