小小鱼

文章目录一、日志生成环境模拟二、flume任务配置1、任务脚本文件配置2、执行flume任务错误1：错误2：错误3：错误4：错误5：错误6：一、日志生成环境模拟Tomcat安装：新建一台虚拟机作为webserver，安装jdk和Tomcat，把二者安装包传入至虚拟机中[root@slave02 spark]# tar -zxf apache-tomcat-8.5.63.tar.gz -C /opt/software/spark/[root@slave02 spark]# mv apache-tom

文章目录1、Flume架构1.1 Agent：1.2 Event：1.3 Client：2、Flume特性2.1 可靠性2.2 可恢复性2.3 可靠性保证（面试）2.3.1 故障转移2.3.2 负载均衡2.3.3 多层代理2.3.4 多路复用3、Flume原理3.1主要组件及其作用3.2 各组件作用如下3.2.1 Source相关3.2.2 Channel相关3.2.3 Sink相关3.3 Flume工作流程3.3.1Source->Channel3.3.2 Channel->Sink3.3.3

1、Flume安装1.1 解压将下载的 flume 包，解压到software/hadoop等自定义目录中1.2 配置jdk关联复制 conf/ flume-env.sh.template 为 flume-env.sh ，修改flume-env.sh 配置文件,主要是 JAVA_HOME 变量设置。1.3 验证是否安装成功./bin/flume-ng version1.4 测试数据收集1.4.1、编写配置文件重命名 conf/flume-conf.properties.template