qianchun22的博客

案例创建Topic[root@hadoop001 ~]# kafka-topics.sh --zookeeper 192.168.247.201:2181 --create --topic user_friends_raw --partitions 1 --replication-factor 1编写 userFriend-flume-kafka.confvi /opt/flume/conf/jobkb09/userFriend-flume-kafka.conf内容如下：user_frie

IDEA编写自定义拦截器IDEA中导入以下依赖：<!-- https://mvnrepository.com/artifact/org.apache.flume/flume-ng-core --> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <versi

在工作目录下创建以下文件案例一输入输出同步编写 agent 配置文件 netcat-flume-logger.confvi /opt/flume/conf/jobkb09/netcat-flume-logger.conf内容如下：a1.sources=r1a1.channels=c1a1.sinks=s1a1.sources.r1.type=netcata1.sources.r1.bind=localhost a1.sources.r1.port=7777 a1.

Flume简介Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据的简单处理，并写到各种数据接收方的能力。Flume 在0.9.x and 1.x之间有较大的架构调整，1.x版本之后的改称Flume NG，0.9.x的称为Flume OG。Flume目前只有Linux系统的启动脚本，没有Windows环境的启动脚本。Flume NG的介绍1、Flume特点flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输

1、下载上传flume安装包到虚拟机下载链接：https://pan.baidu.com/share/init?surl=2M3_A14S8vZTnsh915efPA提取码：bxi22、解压flume安装包并改名tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt/mv apache-flume-1.6.0-cdh5.14.0-bin/ flume3、修改配置文件进入/opt/flume/conf目录下复制flume-env.sh.tem