破晓的成长之路

这里以kafka 0.11版本为例。将kafka tar包解压到对应路径顺便改个名：tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/SFT/mv kafka_2.11-0.11.0.0 kafka-0.11修改config/server.properties部分配置如下（个人机实验环境下的配置）：# The id of the broker. Th...

转发自oschina，感谢前辈们的翻译参与翻译 (4人) :fbm,木川瓦兹,K6F,nesteaa原文地址：https://www.oschina.net/translate/kafka-design端到端的批量压缩多数情况下系统的瓶颈是网络而不是CPU。 这一点对于需要将消息在个数据中心间进行传输的数据管道来说，尤其如此。当然，无需来自Kafka的支持，用户总是可以自行...

在此以消费kafka数据进行wordCount，对比reduceByKeyAndWindow、updateStateByKey两个api的使用。代码如下：kafkaConsumer，采用kafka0.10 direct Api。 def getKafkaConsumerStream(ssc:StreamingContext,group:String,topic:String) ={ ...

根据压测结果可以判断当前kafka部署环境是否满足业务需求、需要做哪方面的优化。在kafka安装bin目录下有如下两个工具用于针对生产/消费端的压测：kafka-consumer-perf-test.shkafka-producer-perf-test.sh生产者端根据kafka处理数据峰值为参照进行测试。/usr/SFT/kafka-0.11/bin/kafka-producer-p...

flume有三大组件：source，channel，sink。根据不同的适用场景其中又有进一步的分类，channel见得比较比较多的有file channel（base on secondary memory）、memory channel (base on main memory)。file channel的安全性要比memory channel高，但效率次之；反之即反。在使用flume实时...

kafka是消息队列的一种，记得在web开发中会用类似于rabbitMQ之类的消息中间件以提高交互效率，同时可以在访问高峰期起到缓冲的作用，还有其他各种好处在此就不再展开了。先来看看消息队列的数据传输模式推送（消息队列主导）：push可以及时将最新的数据推送到数据下游，但可能导致下游数据主机来不及消费的问题数据不对等的时候）。而有可能导致数据丢失。拉取（订阅者主导）：pull可以很好的解...