
Flume
、Jamson
微信:donegals
展开
-
Flume之agent基本配置使用
Flume之agent基本配置使用 一、agent组成 agent由source、channel、sink三部分组成 source:数据源头,主要负责接收数据,将数据转换成事件,交由channel进行缓冲拦截处理,一般有netcat、实时日志收集(exec)、批量监控、序列source、压力source,还有avro source等等 channel:中间缓冲拦截处理机制,主要有内存通道,文件通道...原创 2019-03-30 22:25:40 · 3870 阅读 · 0 评论 -
Kafka集成Flume实现实时数据的处理
Kafka集成Flume实现实时数据的处理 环境准备: Kafka:2.2.0 Flume:1.9.0 netcat demo架构: netcat:flume source memory:flume channel KafkaSink:flume sink、kafka producer kafka-console-consumer:kafka consumer** 一、创建一个kafka测试主...原创 2019-04-01 17:16:20 · 746 阅读 · 0 评论