基于0.9版本的kafka测试问题

主要模拟测试kafka的某一个broker挂掉的情况。

public Future<RecordMetadata> send(ProducerRecord<K, V> record)

1、定义partition,key,value

public ProducerRecord(String topic, Integer partition, K key, V value)

这种情况下，测试结果是，如果这个partition所在的broker刚好宕机，那后续的数据会全部丢失

2、定义key,value，不定义partition

 public ProducerRecord(String topic, K key, V value) 

这种情况下，测试结果是，部分数据丢失

3、只定义value

public ProducerRecord(String topic, V value)

这种情况下，测试结果是，只丢失了一条记录。

个人总结：

所以我们实际使用的情况下，最好不设置partition和key的值，除非必要。

对于我们发送失败的数据，我们需要重新处理，这时我们用到kafka另一个API：

public Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback)

重写callback的public void onCompletion(RecordMetadata metadata, Exception e)方法，发送失败我们会捕捉到对应的Exception，由于该方法是异步的，我们可以把发送失败的数据收集起来，在达到一定大小或者一定时间的时候，进行重新发送。