u010627840的专栏

https://github.com/openmessaging/openmessaging-benchmark/

1.kafka问题列表 kafka的使用，生产者和消费者配置？序列化方式，如何保证kafka producer发送一条消息，至少发送一次？ kafka offset了解吗，自动提交还是手动提交？ kafka分区了解？如何查询某个topic的各分区消费情况 kafka SimpleConsumer使用过吗？ kafka 和zk的关系？zk对于ka...

最近在整理kafka相关的资料，其中有一些常用的命令，因此记录下来。作为一款生产者消费者模式的框架，最基本的功能就是发送数据和接收数据。1.发送数据命令>kafka-console-producer.sh --broker-list 192.168.70.188:9092,192.168.70.189:9092 --topic kafka-entrust-test-12

说明 最近一个项目需要订阅kafka的某个topic的消息，当时运行很正常，过了几天发现项目启动时，报异常Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'com.ximalaya.kafka.consumer.KafkaConsumerList

Kafka学习之怎么保证不丢，不重复消费数据Kafka作为当下流行的高并发消息中间件，大量用于数据采集，实时处理等场景，我们在享受他的高并发，高可靠时，还是不得不面对可能存在的问题，最常见的就是丢包，重发问题。 丢包问题：消息推动服务，每天早上，手机上各终端都会给用户推送消息，这时候流量剧增，可能会出现kafka发送数据过快，导致服务器网卡爆满，或者磁盘处于繁忙状态，可能会出现丢包现象。 解

1.背景 最近在接触实时大数据框架Storm，要求延时在秒级，需求包括用户转账实时APP和短信通知，新股破板通知等；数据规模在每天百万级，高峰期每秒1000。2.架构设计2.1 分块 该系统主要包括三部分：数据采集模块，数据加工模块，数据推送模块。 数据采集模块通过接收对应Topic的Kafka消息来实现，需要根据数据量设置分区个数，数据保留周期，数据发送准确级别（不重发，漏发）；

1. kafka为什么这么快1) 对于生产者而言, 采用异步+批量的方式发送2) 对于broker而言, 尽可能保证在内存中进行数据交换,依赖PageCache. 此外,broker采用sendfile技术, 直接在内核的buffer中进行数据交换 broker采用partition分区3) 磁盘顺序写...