JinVijay的博客

kafka-run-class.sh kafka.tools.DumpLogSegments --print-data-log --files ./00000000000000000286.timeindex

三个必选项 key.serializer 数据写入key的序列化方式 默认值没有 参数为 org.apache.kafka.common.serialization.Serializer 接口的实现类 String类型可以用org.apache.kafka.common.serialization.StringSerializer value.serializer 数据写入value的序列化方式 默认值没有 参数可以为 org.apache.kafka.common.seri

auto.offset.reset:可以理解为消费者读取数据的策略 earliest:如果没有偏移量的话,从头开始读取数据;有偏移量的话从偏移量开始读 latest:如果没有偏移量的话,从消费者启动以后开始读取数据;有偏移量的话会从偏移量开始读;而且没有偏移量的话使用这个参数,虽然没有读取到数据,但是偏移量会记录到原来数据的最后的位置;再使用earliest参数也无法读到数据,因为偏移量已经存在了 ...

kafka安装步骤 1.安装zookeeper 2.修改配置文件 #server.properties #指定broker的id id必须为唯一的integer类型 broker.id=1 #数据存储的目录 log.dirs=/data/kafka #指定zk地址 zookeeper.connect=linux01:2181,linux02:2181,linux03:2181 #可以删除topic的数据(生成环境不用配置) #delete.topic.enable=true 将配置好的ka

kafka的特点 1.解耦： 　　允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2.冗余： 　　消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。 3.扩展性： 　　因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。 4.灵活性 &am