
Kafka
lql_h
这个作者很懒,什么都没留下…
展开
-
Kafka的安装及基础配置
Kafka的安装及基础配置 1、上传解压缩kafka tar xzvf ftp/kafka_2.10-0.10.1.0.tgz -C /usr/local/ 2、方便管理,更名文件夹 mv /usr/local/kafka_2.10-0.10.1.0/ /usr/local/kafka 3、Kafka开发包本身支持zookeeper命令,考虑到数据保存的方面,建两个文件夹, mk...原创 2019-05-15 14:47:16 · 229 阅读 · 0 评论 -
Kafka的生产者和消费者
1、依赖jar包 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> ...原创 2019-05-15 15:14:12 · 298 阅读 · 0 评论 -
flume的基本概述
Kafka处理千万级的数据,产生的初衷为了数据的收集及合理的消费,实际数据怎样获取 几乎所有的项目都会使用log4j组件,为log4j组件设计一个通道,让他采集到的数据直接发送给消息系统,再有消息系统发送给其他的分析程序,这样就不需要大面积的修改已有的程序代码了 Flume可以理解为日志系统和消息组件之间的过渡段 http://flume.apache.org/ F...原创 2019-05-15 15:39:00 · 221 阅读 · 0 评论 -
Flume整合log4j和Kafka
log4j配置 配置文件 修改log4j.properties # 设置要进行数据跟踪程序所在的名称 log4j.logger.cn.mldn.myflume=INFO ,flume log4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppender log4j.appender.flume.layout...原创 2019-05-15 16:03:34 · 270 阅读 · 0 评论