flume 企业中的实例案例默认拦截器

最新推荐文章于 2024-02-16 17:03:39 发布

zengxianglei

最新推荐文章于 2024-02-16 17:03:39 发布

阅读量431

点赞数

CC 4.0 BY-SA版权

分类专栏： flume 文章标签： flume 企业中的实例案例

本文链接：https://blog.youkuaiyun.com/zengxianglei/article/details/89295070

本文通过一个实际案例，展示了如何使用Flume从A、B两台服务器上的access.log、nginx.log、web.log日志文件中采集数据，并将这些数据按照不同类型的日志分别存储到C服务器的HDFS特定目录下。通过配置静态拦截器设置日志类型，确保数据被正确分发。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flume 企业中的实例案例默认拦截器

首先flume有一些自身的拦截器如：TimestampInterceptor 、
HostInterceptor 、r RegexExtractorInterceptor 等，通过使用不同的拦截器，
实现不同的功能
同时我们有也可以通过java代码来自定义拦截器，这里先不讲在hadoop-6

案例场景：A、B 两台日志服务机器实时生产日志主要类型为 access.log、nginx.log、
web.log

需求：
把 A、B 机器中的 access.log、nginx.log、web.log 采集汇总到 C 机器上
然后统一收集到 hdfs 中。
但是在 hdfs 中要求的目录为：
/source/logs/access/20160101/**
/source/logs/nginx/20160101/**
/source/logs/web/20160101/**

你会想到什么？
首先要获取这三组文件，但是要根据access /nginx/web 来分别存储到对应的目录文件下
我们要解决的就是在flume中传递type 分别为 access/nginx/web
上传hdfs 打印时我们动态获取这个type 指定hdfs上根据type来存放在不同的目录下。

话不多说直接代码：