hxiaowang的博客

不一定详细，只是记录下，增加下理解。之前也有记录过，做个补充吧。 知识点 Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition都是一个有序的独立的不可变的记录序列，新的消息会不断-的追加到序列末尾，分区的offset都是从0开始。kafka只能保证消息在单个分区的有序 Segment：partition物理上由多个segment组成 Offset：偏移量 通过offset+partition+topic可以定位到唯一一条消息 bro.

1整体来说 我们很多人在在使用Flume和kafka时，都会问一句为什么要将Flume和Kafka集成？那首先就应该明白业务需求，一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。 1. 生产环境中，往往是读取日志进行分析，而这往往是多数据源的，如果Kafka构建多个生产者使用文件流的方式向主题写入数据再供消费者消费的话，无疑非常的不方便。 2. 如果Flume直接对...

flume kafka spark streaming 安装flume 目前1.6 可能不支持Taildir（猜测） ，下载1.7/1.8版本下载地址 http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 去官网自己找吧。 1.先搭建flume 将下载的包解压 tar -zxvf **

chroot 这里的zk地址不要带 “/” 要不连接不到kafka

背景 这里就直接按照顺序开始部署，第一次搭建时候是遇到问题才解决的我这里就直接把问题下解决了在搭建 1.kafka+zookeeper准备 一般搭建kafka监控的时候kafka和zk都已经搭建好了这里需要主意一个地方 1.kafka需要开启JMX端口 找到kafka安装路径，进入到bin文件夹，修改下面的地方。 vi kafka-server-start.sh ... ...

1.入门 1.1简介 ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢？ 流媒体平台有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流 Process streams of records as they occur（记录发生时处理流）. Kafka通常用于两大类应用： 构建可在系统或应用程序之间可靠获取数据的实时流数...