qq_24365213的博客

kafka版本：2.10-0.10.0.1 API jar包：kafka-clients-0.10.0.1.jar 背景：kafka集群从2.10-0.8.2.1升级到2.10-0.10.0.1后，发现原先使用的写日志到Kafka的API全部被标记成了deprecated的状态 kafka_2.10-0.10.0.1.jar kafka.javaapi.producer.Producer

很久没有做技术方面的分享了，今天闲来有空写一篇关于Kafka通信方面的文章与大家共同学习。 一、Kafka通信机制的整体结构 74EACA88-8B9D-45F8-B7BF-202D658205A9.png 这个图采用的就是我们之前提到的SEDA多线程模型，链接如下： http://www.jianshu.com/p/e184fdc0ade4 1、对于broker来说，客户端

val data = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder]( ssc, kafkaParams, TopicsSet)会创建一个DirectKafkaInputDStream并加入到ssc自身维护的流程图变量ssc.graph.addInputStream(this) 然后进行d

参考文章： http://blog.cloudera.com/blog/2016/09/apache-spark-2-0-beta-now-available-for-cdh/ https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html 在CDH官网中关于Ka

1.partition数量配置 partition数量由topic的并发决定，并发少则1个分区就可以，并发越高，分区数越多，可以提高吞吐量。 创建topic时指定topic数量 bin/kafka-topics.sh --create --zookeeper 10.25.58.35:2181 --replication-factor 3 --partitions 3 --topic te

Kafka Streams 　　Kafka Streams在几个月前由Confluent Platform首先在其平台的技术预览中行提出，目前已经在Apache Kafka 0.10.0.0上可用了。Kafka Streams其实是一套类库，它使得Apache Kafka可以拥有流处理的能力。Kafka Streams包含了一整套描述常见流操作的高级语言API（比如 joining,

一、安全特性 在0.9之前，Kafka安全方面的考虑几乎为0，在进行外网传输时，只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点，让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面，主要有以下方面设计： 客户端连接borker使用SSL或SASL进行验证borker连接ZooKeeper进行权限管理数据传输进行加密（需要考虑性能方面的影响）客户端读、

确定Kafka安装和启动正确，ZooKeeper可以查到所有的Brokers，但执行： kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic 遇到如下错误： java.net.SocketException: N

Apache Spark 1.3.0引入了Direct API，利用Kafka的低层次API从Kafka集群中读取数据，并且在Spark Streaming系统里面维护偏移量相关的信息，并且通过这种方式去实现零数据丢失(zero data loss)相比使用基于Receiver的方法要高效。但是因为是Spark Streaming系统自己维护Kafka的读偏移量，而Spark Stre

// Subscribe to 1 topic 从数据库读取偏移量。todo val words = spark .readStream .format("kafka") .option("kafka.bootstrap.servers", "host1:port1,host2:port2") .option("subscribe", "topic1") .load()

Spark Streaming + Kafka Integration Guide Apache Kafka is publish-subscribe messaging rethought as a distributed, partitioned, replicated commit log service. Please read the Kafka documentation t

3、在linux中使用wget命令下载安装包  wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz    4、解压文件并创建软连接 tar -zxvf /export/software/kafka_2.11-0.8.2.

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。 我

翻译自:  https://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0-9-consumer-client/ kafka最初时开发时, 所带的producer和consumer client都是Scala所写. 我们逐渐发现这些API具有一些限制. high-level的api支持co

package com.kafka.wordcount import java.util import kafka.serializer.StringDecoder import org.apache.spark.storage.StorageLevel import org.apache.spark.{HashPartitioner, SparkConf, TaskContext} imp