- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark-ETL日志数据清洗分析项目（下）--个人学习解析（保姆级）
的代码开头部分已经连接过mysql，所以想要将结果上传至mysql应该只需要将frame2用变量接收，然后write进mysql即可，可参考如下写法。字段为"Registered"的event_time列 = 字段为"Signin"的event_time列 - 1天（毫秒数为86400000）的比率，在logDetail或test.log中体现为有重复的用户（即userID有重复）并且这个重复用户的actionName值有"1）我们首先要理解用户留存率是指什么，1日的用户留存率又该怎么计算。
2023-04-02 17:19:41
423
原创 Spark-ETL日志数据清洗分析项目（上）--个人学习解析（保姆级）
需求：对test.log中的数据进行如下操作1.日志数据清洗2.用户留存分析3.活跃用户分析4.将各结果导入mysql使用工具：IDEA，Maven工程下的Scala项目数据清洗原理解析：/**此项目清洗数据的内容主要是解析url内的用户行为1.将初始数据转换成dataFrame型（代码中为orgDF），结构为row（表示一个行的数据），schema（描述dataFrame结构，也可以理解为行的各个属性名称）
2023-03-29 17:02:39
927
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人