电商大数据分析平台（三）nginx配置及flume读取日志信息

最新推荐文章于 2025-06-16 20:00:39 发布

原创

最新推荐文章于 2025-06-16 20:00:39 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

本文详细介绍了如何配置nginx以记录客户端事件，并通过Flume监听nginx的access.log，将session信息存入HDFS。首先，讲解了nginx简单配置，包括地址配置和日志格式设置。接着，阐述了Flume使用exec source监控access.log，并配置HDFS sink进行数据写入。最后，通过测试运行验证了整个流程，当用户访问web页面时，nginx接收到session信息，Flume将其存储到HDFS中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、nginx配置

在本项目中nginx的作用只是接收客户端发送的事件，并将相应的session写入日志文件中，所以配置较为简单，只需要配置写入的日志文件和写入的格式

1.地址配置

        server {
                listen       80;
                location = /index{
                        index index.html index.html;
                        root /data/www/vhost1;
                        }
                location /log.gif{
                        root /data/www/vhost1;
                        access_log /var/log/nginx/access.log main;
                        }

2.日志格式设置

nginx写入日志的内容为客户端地址，跳转到web页面前的地址，服务器端地址，请求url，以“ - ”（空格-空格）隔开。

log_format main  '$remote_addr - $http_referer - $server_addr - $request_uri';

二、flume配置

flume在这里主要是对nginx产生的access.log文件进行监听，当有session记录时flume将其提取并写入HDFS中，flume的source端用的是exec的source，即通过命令监控，命令的话为tail -F /var/log/nginx/access.log即持续监控日志文件尾部。sink部分用的就是hdfs的sink，设置写入路径为hdfs的flume文件夹下的以年月日作为名称的文件夹中，再设置一些自己的参数即可，flume配置如下</