用户行为日志分析

用户行为日志分析是获取网站访问量、评估网站粘性和实施个性化推荐的重要手段。通过对nginx、ajax等渠道产生的日志数据进行采集、清洗和处理,可以了解用户的操作系统、浏览器、访问路径等信息,并通过数据可视化工具如echarts展示结果。具体流程包括使用flume收集日志到HDFS,使用spark、hive等清洗数据,再将结果存储到RDBMS或NoSQL数据库,并通过数据可视化展现访问趋势和热门内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

用户行为日志概述

概念定义:用户每次访问网站时,所有的行为数据:访问,浏览,搜索,点击。。。

用户行为轨迹,流量日志。。。

比如:点课程,有记录,点html css,时间,IP,pc端?对大数据感兴趣


为什么

1.可以通过日志分析得到网站访问量

2.网站粘性

3.相应推荐(搜索洗衣机,根据点击日志,能够分析出来最近对家用电器感兴趣,给你打标签,为了促进新的订单产生)


生成渠道:nginx,ajax(鼠标悬停以及页面主键构成)

用户行为日志内容;

ip

账号

时间区域

使用的客户端

业务相关

链接地址跳转

分类:

1)访客系统属性,操作系统,浏览器

2)访问特征:url,ref,停留时间

3)访问信息:sessionid ,ip 这干嘛用?能够获取到地市

如何


意义

网站的眼睛:来自哪里,找什么?你那些页面最受欢迎?从哪里进来的?


离线数据处理架构

数据采集,清洗,功能需求统计处理,写入库,可视化

1)数据采集 flume专门log data  web日志写入到hdfs上

2)数据清洗 采用spark、hive、mapreduce清洗完之后可以放在HFDF上或其他分布式计算框架上

3)数据处理 按照需求进行相应业务逻辑统计分析

4)数据处理结果入库    结果可以存放在RDBMS和NoSQL中,调用对应数据库api

5)  数据可视化展示    通过图形化展示的方式展现出来:饼图、柱图、地图、折线图,百度

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值