potter

Flume的配置文件：（和kafka连接的配置文件）#文件名:kafka.properties#配置内容：分别在linux系统里面建两个文件夹：一个文件夹用于存储配置文件（flumetest），一个文件夹用于存储需要读取的文件（flume）a1.sources = s1a1.channels = c1a1.sinks = k1a1.sources.s1.type = netcata1.s...

1、简介1.1　概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方...

1、kafka的架构如上图所示，一个典型的Kafka 集群中包含若干Producer（可以是web 前端产生的PageView，或者是服务器日志，系统CPU、Memory 等），若干broker（Kafka 支持水平扩展，一般broker 数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper 集群。Kafka 通过Zookeeper 管理集群配置，选举leade...

1、高可用的由来1.1　为何需要Replication在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Partition中。如果Producer使用同步模式则Producer会在尝试重新...

1、Kafka在zookeeper中存储结构图2、分析2.1、topic注册信息需要先启动zookeeper，用这个命令 zkCli.sh 进入zookeeper。/brokers/topics/[topic] :存储test的topic的partitions所有分配信息[zk: localhost:2181(CONNECTED) 1] get /brokers/topics/topic2Sche...

1、下载下载地址：http://kafka.apache.org/downloads.htmlhttp://mirrors.hust.edu.cn/apache/2、安装前提（zookeeper安装）参考http:https://blog.youkuaiyun.com/qq_41851454/article/details/796430933、安装此处使用版本为kafka_2.11-0.8.2.0.tgz2....

参考spark官方文档   kafkaAPI需要先启动kafka，创建一个主题：package sparkstreaming.lesson08import kafka.serializer.StringDecoderimport org.apache.spark.streaming.dstream.DStreamimport org.apache.spark.streaming.kafka...