Spark数据清洗(日志信息)

最新推荐文章于 2025-07-25 23:00:16 发布

原创

最新推荐文章于 2025-07-25 23:00:16 发布 · 1.2w 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据

该博客围绕Spark大数据处理展开，先模拟日志数据格式，进行清洗任务，包括读入日志文件转化为RDD[Row]类型、切割数据、过滤无效数据、去重等操作，将清洗后的数据保存到MySQL表。还进行应用任务，计算用户次日留存率，先求当天新增用户总数，再求新增用户次日登录总数。

模拟日志数据格式

//日志格式
2018-09-04T20:27:31+08:00	http://datacenter.bdqn.cn/logs/user?actionBegin=1536150451690&actionClient=Mozilla%2F5.0+%28Windows+NT+10.0%3B+WOW64%29+AppleWebKit%2F537.36+%28KHTML%2C+like+Gecko%29+Chrome%2F63.0.3239.132+Safari%2F537.36&actionEnd=1536150451783&actionName=viewQuestionAnalysis&actionTest=0&actionType=3&actionValue=261533&clientType=001_bdqn&examType=001&ifEquipment=web&questionId=35406&skillIdCount=0&userSID=E02CD8FDB92BD9A3D777B7425D4FE8A0.kgc-tiku-node1.kgc-tiku-node1&userUID=261533&userUIP=115.200.118.135	GET	200	192.168.168.79	-	-	Apache-HttpClient/4.1.2 (java 1.5)

//日志可根据Table拆分为八个字段
event_time:	2018-09-04T20:27:31+08:00
	
url:http://datacenter.bdqn.cn/logs/useractionBegin=1536150451690&actionClient=Mozilla%2F5.0+%28Windows+NT+10.0%3B+WOW64%29+AppleWebKit%2F537.36+%28KHTML%2C+like+Gecko%29+Chrome%2F63.0.3239.132+Safari%2F537.36&actionEnd=1536150451783&actionName=viewQuestionAnalysis&actionTest=0&actionType=3&actionValue=261533&clientType=001_bdqn&examType=001&ifEquipment=web&questionId=35406&skillIdCount=0&userSID=E02CD8FDB92BD9A3D777B7425D4FE8A0.kgc-tiku-node1.kgc-tiku-node1&userUID=261533&userUIP=115.200.118.135	

method:GET	

status:200	

sip:192.168.168.79	

user_uip:-	

action_prepend:-	

action_client:Apache-HttpClient/4.1.2 (java 1.5)

清洗任务

读入日志文件并转化为RDD[Row]类型
1. 按照Tab切割数据
2. 过滤掉字段数量少于8个的
对数据进行清洗
1. 按照第一列和第二列对数据进行去重
2. 过滤掉状态码非200
3. 过滤掉event_time为空的数据
4. 将url按照”&”以及”=”切割
保存数据
1. 将数据写入mysql表中

任务实现(清洗)

import java.util.Properties
import org.apache.commons.lang.StringUtils
import org.apache.spark.rdd.RDD
import org.apache.spark.sql._
import org.apache.spark