centos安装flume1.9.0

本文详细介绍了如何使用Apache Flume进行日志收集系统的部署,包括下载、配置及启动Flume的过程。通过实例配置,展示了如何设定Source、Sink及Channel,实现日志数据的收集与处理。
1.下载
/*
对日志收集的三个核心要素进行了抽象:
1. Source:日志从哪里产生
2. Sink:日志会被推送到什么地方
3. Channel:Source通过什么样的渠道,送到Sink
*/
cd /opt

wget https://mirror.bit.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

tar -zxvf apache-flume-1.9.0-bin.tar.gz

cd /opt/apache-flume-1.9.0-bin/conf
2.修改配置

//查看java安装路径
echo $JAVA_HOME

cp flume-env.sh.template flume-env.sh

vim flume-env.sh
export JAVA_HOME=/usr/local/java

// 创建 job/flume-netcat-logger.conf,文件内容如下:
# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
## 事件容量
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
## channel 与 sink 的关系是 1对多 的关系。1个sink只可以绑定1个channel,1个channel可以绑定多个sink。
a1.sinks.k1.channel = c1
3.启动
bin/flume-ng agent --conf conf --conf-file job/flume-netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

在这里插入图片描述

4.校验
//查看端口时候通
// yum install -y telnet
telnet localhost 44444

在这里插入图片描述

参考:https://www.cnblogs.com/fonxian/p/11973711.html
参考:https://rdc.hundsun.com/portal/article/941.html

### CentOS 系统 Flume 安装配置教程 #### 一、准备工作 确保服务器已经安装并启动 Zookeeper 和 Kafka。 #### 二、下载与解压 Flume 通过wget命令从Apache官方网站获取Flume压缩包,并将其放置到合适位置。 ```bash wget --no-check-certificate https://dlcdn.apache.org/flume/1.11.0/apache-1.11.0-bin.tar.gz tar -xzvf apache-flume-1.11.0-bin.tar.gz mv apache-flume-1.11.0-bin/ /data/flume/ ``` #### 三、设置环境变量 编辑`/etc/profile`文件来定义FLUME_HOME路径以及更新系统的$PATH变量以便全局访问flume命令。 ```bash vim /etc/profile export FLUME_HOME=/data/flume export PATH=$PATH:$FLUME_HOME/bin source /etc/profile ``` 上述操作完成后,需重新加载profile使更改生效[^3][^4]. #### 四、创建Systemd服务单元文件 为了方便管理Flume进程,在/usr/lib/systemd/system目录下新建名为flume.service的服务描述文件。 ```bash vim /usr/lib/systemd/system/flume.service [Unit] Description=Flume Agent Service After=syslog.target network.target remote-fs.target nss-lookup.target [Service] Type=simple User=root ExecStart=/bin/bash -c 'exec /data/flume/bin/flume-ng agent \ -n a1 \ -c conf/ \ -f /path/to/job/file_to_kafka.conf' Restart=on-abort [Install] WantedBy=multi-user.target ``` 注意替换其中的参数以匹配实际部署情况。保存退出后执行`systemctl daemon-reload`刷新守护程序配置[^1]. #### 五、验证安装成果 尝试运行一个简单的agent实例测试是否成功安装Flume及其依赖项。 ```bash cd /opt/module/flume bin/flume-ng agent -n a1 -c conf/ -f job/file_to_kafka.conf ``` 如果一切正常,则说明Flume已经在CentOS环境中正确设置了[^2].
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cocktail_py

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值