mtj66的博客，交流WX:SpringBreeze1104

Recent Evolution of Zero Data Loss Guarantee in Spark Streaming With KafkaSparkSteamingkafka数据零丢失当合理的配置之后，sparkstreaming 可以保证零数据丢失。当然在您想要使用这一特性时候，必须遵守一些配置要求。when properly deployed, Spark Str

bin/kafka-topics.sh --create --zookeeper 172.16.4.41 --topic test-rep-one --partitions 6 --replication-factor 1 3 台kafka  8core 3 台zk 8core#生产消费同时进行测试  生产测试:#方式1bin/kafka-run-class.sh org.apache.kafka...

最近公司因为用的云服务器，需要保证kafka的安全性。可喜的是kafka0.9开始，已经支持权限控制了。网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制 ( flume需要1.7及其以上才支持kafka的SSL认证)。下面各位看官跟着小二一起开始kafak权限认证之旅吧！嘎嘎嘎！介绍： kafka权限控制整体可以分为三种类型： 1.基于SSL(CDH 5.8不...

fluent-plugin-kafka (0.6.6) ruby-kafka (0.4.4)在使用fluentd中使用 kafka source 会出现问题 默认会安装 fluent-plugin-kafka (0.6.6) ruby-kafka (0.5.2)但是测试发现会出现若干问题 ruby-kafka 说明中指出支持kafka0.9 不过下了相关tag版本的r

在spark streaming中更新数据到zookeeper，第一次更新的时候可能会报如上错（from kafka_0.9），解决方案就是在测试过程中临时加入如下代码: 目的是创建相对应的文件夹ZkUtils(zkClient, false).updatePersistentPath(path="/consumers/groupId", data="groupId")ZkUt

由于kafka涉及到多人使用，不同的版本有影响，存在兼容性问题。特此做了一个测试,结果如下：server端的版本较高，能兼容低版本的client（包括producer and consumer）如果client端的版本较高：1. producet则无法成功写入2. consumer 消费会报错，也无法成功消费。此处针对的是0.8 ,0.9  和 0.10 三个版本之间进行兼

1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录2、Kafka 删除topic的命令是：     ./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】   

kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。本文将针对Kafka性能方面进行简单分析，首先简单介绍一下Kafka的架构和涉及到的名词：1. Topic：用于划分Message的逻辑概念，一个Topic可以分布在多个Br

升级SparkStreaming Application代码在对StreamingApplication项目进行升级时，此时如果代码发生改变的话，有两种方式可以做到。1. 升级的代码和旧的代码同时运行起来，（接收同样的数据）直到新程序能够稳定的运行。旧的程序就可以停掉。注意: 这种方式只支持能够将数据发送到两个不同的地址（新程序和老程序）的数据源，比如kafka。2.采用优雅关闭c

Every write operation goes to all replicas, but only responsesfrom a majority quorum are necessary to commit the write.每一次写操作都分发到所有副本,只有大部分节点应答才能提交写缺点:随着副本数的增加,集群中需要ack的节点数量比较多(n/2-1)存储元数据,数据量

JobGenrerator.generateJobs负责Streaming Job的产生，产生并且提交执行Job之后，会发送DoCheckpoint事件，源码如下：[java] view plain copyprivate def generateJobs(time: Time) {      // Set the SparkEnv in t

在使用故障恢复的时候采用此方法进行业务逻辑进行恢复的时候，所有的业务逻辑应该放在 functionToCreateContext 函数内部才能实现checkpoint目录数据的恢复。  eFormatimport java.util.Dateimport org.apache.commons.logging.LogFactoryimport org.apache

这几天在做flume拦截器改写.准备部署测试了,为了不影响线上环境,换了一个消费者组,然后又换了一个输出路径.一切测试尝试后,终于把bug给修复好了,然后准备看看kafka的消费是否正常.What?怎么有个topic的lag比较大,另一个topic的lag很正常(同时消费两个topic的数据),再仔细看看,怎么只有部分partition的数据delay很多,然后其他partition是正常的lag...