大型网站用户行为记录的一个实现--基于clickStream(第二部分)

最新推荐文章于 2024-08-21 00:01:38 发布

原创最新推荐文章于 2024-08-21 00:01:38 发布 · 313 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘 #log4j #SQL #.net

opensourceproject 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一种通过将clickstream用户行为日志从文件转移至数据库的方法来简化数据分析的过程。通过这种方式，可以更方便地统计特定路径的访问次数或用户的登录频率，并利用SQL进行更深入的数据挖掘。

在上一节，我们已经可以使用clickstream 记录用户的行为日志了，可以按照我们的格式要求将日志记录根据log4j定义的格式记录在一个按日生成的日志文件中，这些用户的行为类似我们用逗号分隔成这个样子

每条日志的组成是（当然你可以定义更多的日志记录的关注点）：

用户名，IP地址，访问路径

admin,127.0.0.1,/oa/
admin,127.0.0.1,/oa/login.do
admin,127.0.0.1,/oa/address.do?method=list
admin,127.0.0.1,/oa/worklog.do?method=list
admin,127.0.0.1,/oa/sms.do?method=list
admin,127.0.0.1,/oa/notice.do?method=list
admin,127.0.0.1,/oa/meeting.do?method=list
Caught java.net.SocketException closing conneciton.

可是将日志记录在文件中并不是一个好的方式，至少比如来了一个需求，让分析下这个路径 /oa/address.do?method=list 被访问了多少次，或者admin 登录了多少次，你就无能为力了，因此我们考虑通过一个定时任务，每天将日志文件分析一下，插入到数据库中，以后我们就可以通过 SQL 这个强大的语言，挖掘用户的行为了

而这个定时任务实现起来也很容易，附件中就是一个简单的实现，我使用fatjar 打了一个包运行后如下图