大数据-MOOC日志分析

最新推荐文章于 2024-10-18 12:27:51 发布

JP-Destiny

最新推荐文章于 2024-10-18 12:27:51 发布

阅读量1k

点赞数

分类专栏：大数据文章标签： MOOC日志分析

本文链接：https://blog.youkuaiyun.com/JavaDestiny/article/details/89931914

版权

大数据专栏收录该内容

62 篇文章

订阅专栏

MOOC日志分析

日志

网络设备、系统及服务程序等，在运作时都会产生一个叫log的事件记录。它的每一行都记载着日期、时间、使用者及动作等相关操作的描述

网站日志

网站在运行过程中所产生的日志，包括系统日志和程序日志

系统日志：网站听基于的服务器容据所自动生成的日志,如访问日志，系统错误日志等等
程序日志：由用户在程序中定义构建

网站日志分析流程

数据采集，数据处理，数据展现，结果处理

数据采集（Tomcat、Nginx、使用程序自定义采集）
数据处理（清理、转换、抽取，SQL、Java、Python、Hadoop）
数据展现（图表化、Tableau、D3.js、Python）
结果处理（程序优化、服务器调整、SEO优化）

网站日志分析的重要性

网站运行状况(如网站PV,UV )
网站安全状况(如恶意攻击，密码暴力破解)
网站运营状况(如搜索引擎流量来源)
网站用户信息(如操作系统，浏览器)

Nginx

一个高性能的HTTP和反向代理服务器

用户请求分发，简单的负载均衡。默认不开启访问日志。修改配置文件conf/nginx.conf。开启访问日志，配置访问日志格式log_format

access_log logs/access.log
access_log logs/access.log combined

log_format combined '$remote_addr - $remote_user [$time_local]'
'"$request" $status $body_bytes_sent''"$http_referer""$http_user_agent"';

Tomcat

一个免费的开放源代码的Web应用服务器

默认注释访问日志，修改tomcat配置文件conf/server.xml,放开注释tomcat将会自动搜集访问日志

<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true">
	<Value className="org.apache.catalina.valves.AccessLogValue" directory="logs"
		prefix="localhost_access_log." suffix=".txt"
		pattern="%h%l%u%t&quot;%r&quot;%s%b"/>
</Host>

%a #远程IP地址
%A #本地IP地址
%b #发送的字节数，不包括HTTP头，如果为0则为“-”
%B #发送的字节数，不包括HTTP头
%h #远程主机名
%H #请求协议
%l #远程逻辑从identd的用户名（总是返回‘-’）
%m #请求方法
%p #本地端口
%q #查询字符串
%r #第一行的要求
%s #响应的HTTP状态代码
%S #用户会话ID
%t #日期和时间，在通用日志格式
%u #远程用户身份验证
%U #请求的URL路径
%v #本地服务器名
%D #处理请求的时间（以毫秒为单位）
%T #处理请求的时间（以秒为单位）
%I #当前请求的线程名称