用户行为日志分析

用户行为日志概述

概念定义：用户每次访问网站时，所有的行为数据：访问，浏览，搜索，点击。。。

用户行为轨迹，流量日志。。。

比如：点课程，有记录，点html css，时间，IP，pc端?对大数据感兴趣

为什么

1.可以通过日志分析得到网站访问量

2.网站粘性

3.相应推荐（搜索洗衣机，根据点击日志，能够分析出来最近对家用电器感兴趣，给你打标签，为了促进新的订单产生）

生成渠道：nginx,ajax(鼠标悬停以及页面主键构成)

用户行为日志内容;

ip

账号

时间区域

使用的客户端

业务相关

链接地址跳转

分类：

1）访客系统属性，操作系统，浏览器

2）访问特征：url,ref,停留时间

3）访问信息：sessionid ,ip 这干嘛用？能够获取到地市

如何

意义

网站的眼睛：来自哪里，找什么？你那些页面最受欢迎？从哪里进来的？

离线数据处理架构

数据采集，清洗，功能需求统计处理，写入库，可视化

1）数据采集 flume专门log data  web日志写入到hdfs上

2）数据清洗 采用spark、hive、mapreduce清洗完之后可以放在HFDF上或其他分布式计算框架上

3）数据处理 按照需求进行相应业务逻辑统计分析

4）数据处理结果入库    结果可以存放在RDBMS和NoSQL中，调用对应数据库api

5)  数据可视化展示    通过图形化展示的方式展现出来：饼图、柱图、地图、折线图，百度