阿达丶

Kafka架构图 架构 在zookeeper中的拓扑

配置说明 earliest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费 latest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据 none topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset...

构建KAFKA Producer Brokerlist为kafka集群broker地址 可修改为“10.2.1.123,10.2.1.132”格式 static { Properties props = new Properties(); // 此处配置的是kafka的端口 props.put("metadata.broker.list",BR

Kafka（broker：9092，zookeeper：2181） 一.服务启动 启动kafka命令： nohup /kafka/bin/kafka-server-start.sh config/server.properties & 停止kafka命令： pkill -9 -f config/server.properties 二.基本操作 注：Logs为主题topic

根据第一篇文章：STORM入门之（Topology简易Demo）进行扩展集成Kafka STORM入门之（集成KAFKA）传送门：http://blog.youkuaiyun.com/yl3395017/article/details/77449275 新增Bolt： package com.storm.bolt; import java.util.Map; import org.apache.stor

此篇基于原有两篇文章基础上扩展 STORM入门之（集成KafkaBolt） 传送门：http://blog.youkuaiyun.com/yl3395017/article/details/77452604 KafkaSpout更新 主要是构建KafkaSpout基本配置操作 /** * 构建KafkaSpout */ private static void bui

基本 前几篇文章是StormTopology集成Kafka 是Storm基本入门知识 传送门：http://blog.youkuaiyun.com/yl3395017/article/details/77477716 这篇介绍TridentTopology集成Kafka 话不多说 上代码 Topology构建 package com.storm.topology; import com.storm.

Flume Flume作用：收集日志 组件下载地址：http://archive.apache.org/dist/flume/1.6.0/  版本：1.6.0以上集成Kafka Flume配置 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = syslogudp a1.sources.r1.po

基本概念 Kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群， 还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。 Broker Kafka集群包含一个或多个服务器