跋跋寒的博客

在kafka的bin目录下，有两个脚本kafka-producer-perf-test.sh 和kafka-consumer-perf-test.sh，这两个脚本的作用是用来测试生产者和消费者的。[root@hostname bin]# ./kafka-producer-perf-test.sh --helpusage: producer-performance [-h] --topic ...

我们都知道，使用Kafka Producer往Kafka的Broker发送消息的时候，Kafka会根据消息的key计算出这条消息应该发送到哪个分区。默认的分区计算类是HashPartitioner，其实现如下： class HashPartitioner(props: VerifiableProperties = null) extends Partitioner {   def...

今天，和跟大家分享我们在用ElasticSearch和Kafka做日志分析的时候遇到的问题，系统怎么样一步一步演变成现在这个版本。你如果想拿ElasticSearch和Kafka来做日志分析的话，会有一些启发。全文主要包括以下几个Topic： 日志分析系统的基本需求；LinkedIn的日志系统演进过程；我们的经验和教训。 为什么要做日志分析系统？首先，什么是日志？简单的...

上篇说了kafka produce过程中的分区和拦截器，这节继续。 int partition = partition(record, serializedKey, serializedValue, cluster); int serializedSize = Records.LOG_OVERHEAD + Record.recordSize(serializedKey, serial...

首先是启动一个生产者， final String kafkazk="localhost:9092"; String topic="testAPI"; Properties properties = new Properties() {{ put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkazk); ...

原文地址：http://www.cnblogs.com/huxi2b/p/6936348.html今天带来一篇译文“调优Apache Kafka集群”，里面有一些观点并无太多新颖之处，但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置，值得大家一读~ 原文地址请参考：https://www.confluent.io/blog/optimizing-apache-kafka-depl...

上篇文章主要讲解了produce源码中元数据更新相关内容，本次主要讲解produce的分区和拦截器。private Future<RecordMetadata> doSend(ProducerRecord<K, V> record, Callback callback) { TopicPartition tp = null; try { ...

普通的APIpublic static void CommonDemo() { final Properties properties = new Properties() {{ put("bootstrap.servers", "localhost:9092"); put("group.id", "test"); ...

首先一个普通的produce代码如下： final String kafkazk="localhost:9092"; String topic="testAPI"; Properties properties = new Properties() {{ put(ProducerConfig.BOOTSTRAP_SERVERS_...

建立一个普通的消费者。public static void CommonDemo() { final Properties properties = new Properties() {{ put("bootstrap.servers", "localhost:9092"); put("group.id", "testAPIdemo"...

接下来看看消费者的性能测试[root@hadoop-sh1-core1 bin]# ./kafka-consumer-perf-test.sh --helpMissing required argument "[topic]"Option Description -...