flume 日志采集【win10+docker环境，容器间模拟多服务日志传输】

最新推荐文章于 2024-07-17 16:44:01 发布

原创

最新推荐文章于 2024-07-17 16:44:01 发布 · 449 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flume #centos

该博客介绍了如何在Windows 10上使用Docker模拟CentOS环境，通过Apache Flume进行日志采集。内容包括Java 1.8的安装，Flume的下载与配置，以及详细的日志采集和传输示例，展示了如何从一个服务（a服务）收集nginx access.log并传输到另一个服务（b服务）。同时，提供了两种不同的实施方案，适用于不同场景的日志采集需求。

一、环境及软件要求

java >= 1.8

Flume >= 1.9

二、安装

（注：以下安装过程以 centOS7 为例，使用的 Docker 镜像，挂载目录自定）

1. java1.8

(1) 软件源：

a. 官方资源：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

b. 网盘资源（1.8）：https://pan.baidu.com/s/1alUahJ6aVS9qKaXqJ43kAw ，提取码：9nk5

(2) 安装

a. 将压缩包移动到 /usr/local/目录（目录自选）

mv /home/soft/jdk-8u202-linux-x64.tar /usr/local/

b. 解压缩

tar -zxvf jdk-8u202-linux-x64.tar

c. 重命名文件夹（自选）

mv jdk-8u202-linux-x64 jdk1.8

d. 修改 /etc/profile ，添加 jdk1.8 环境变量

vim /etc/profile
// 在文档最后假如如下内容：
export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export  PATH=${JAVA_HOME}/bin:$PATH
// JRE_HOME参数不能丢，网上很多文档都会没写，自己来回折腾几次最后才找到这个错误点，原作者分享忘了哪里了，感谢！