Spark做日志分析

  • 使用数据
    选用1天的搜狗搜索引擎网页查询日志数据。
  • 数据格式为
    访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\t用户点击的URL

  • 其中,用户ID是根据用户使用浏览器访问搜索引擎时的Cookie信息自动赋值,即同一次使用浏览器输入的不同查询对应同一个用户ID

使用环境:jupyter notebook

任务:

rdd创建:

logRDD = sc.textFile('file:///home/workspace/data/lycdata/SogouQ.reduced')
logRDD.count()

输出日志条数:1724264

  • 统计用户在00:00:00到12:00:00之间的查询数
logRDD.map(lambda x : x.split('\t'))
    .filter(lambda x : 0 <= int(x[0].split(':')[0])*3600 +     int(x[0].split(':')[1])*60 + int(x[0].split(':')[2]) <= 12*3600)
    .count()

结果:527300

  • 搜索结果排名第一,但是点击次序排在第二的数据有多少
logRDD.map(lambda x : x.split('\t'))
    .filter(lambda x : x[3].split(' ')[0] == '1' and  x[3].split(' ')[1] == '2')
    .count()

结果:79765

  • 统计每个时间点的查询次数
    (得到一个包含的列为:时间,该时间对应的查询次数的PairRDD)
time_num_rdd = logRDD.map(lambda x : x.split('\t')).map(lambda x : (x[0], 1) )
# 相同的key做reduce
result_rdd = time_num_rdd.reduceByKey(lambda v1, v2:  v1 + v2)
# 按照key排序
result_rdd_sort = result_rdd.sortByKey()
result_rdd_sort.collect()

结果如下图:
这里写图片描述
使用matplotlib对结果进行可视化:

result_list_sort = result_rdd_sort.collect()
# time
x = []
# query count
y = []
for i in range(0, len(result_list_sort)):
    x.append(result_list_sort[i][0]) 
    y.append(result_list_sort[i][1]) 
plt.figure(1)
plt.plot(range(0,len(x)), y)
plt.show()

这里写图片描述

  • 计算每个小时的用户搜索次数
hour_count_list = result_rdd_sort.map(lambda (x, y): (x.split(':')[0], y))
    .reduceByKey(lambda k,v: k+v)
    .sortByKey().collect()

结果:
这里写图片描述

可视化:

hour_count_list = hour_rdd.collect()
# hour
x = []
# query count
y = []
for i in range(0, len(hour_count_list)):
    x.append(hour_count_list[i][0]) 
    y.append(hour_count_list[i][1]) 
  • 折线图
plt.xlabel("time")
plt.ylabel("query_count")
plt.title("User query plot")    

plt.figure(1)
plt.plot(x, y)
plt.show()

这里写图片描述

  • 条形图1(使用Axi绘制)
fig, ax = plt.subplots()
fig.set_figwidth(16)
labels = ['0', '1', '2', '3', '4',  '5',  '6',  '7', '8', '9','10', '11', '12', '13', '14','15','16','17','18','19','20','21','22','23']

# alpha颜色深浅,width条形宽度(百分比),coler条形颜色
rect = ax.bar( x, y, width=0.6,alpha = .5, color = 'g')
# plt.bar(range(len(x)), y, tick_label=labels, alpha = .5, width=0.6, color = 'g')

#设置x轴刻度,0.3=width/2,使x轴刻度位于条形图中间部分
ax.set_xticks(np.arange(len(x))+0.3)
ax.set_xticklabels(labels)

# 设置图例
ax.legend(['hour'])

ax.set_xlabel("time")
ax.set_ylabel("query_count")
ax.set_title("User query plot")    

# 为每个条形图设置标签
for a, b in zip(x, y):
    ax.text(a, b+0.05, '%.0f' % b, ha='center', va= 'bottom',fontsize=7)

# 显示网格
plt.grid()
plt.show()

这里写图片描述

  • 条形图2(plt绘制)
plt.figure(figsize=(8,6))

# align设置刻度和条形图居中
plt.bar(range(len(x)),y,width = 0.6,align='center',color = 'c',alpha=0.5)
plt.xticks(range(len(x)),labels,size='small',rotation=30)

plt.xlabel(u'time')
plt.ylabel(u'query_count')
plt.title(u'User query plot')

# 为每个条形图设置标签,zip函数接受任意多个(包括0个和1个)序列作为参数,返回一个tuple列表
for a, b in zip(x, y):
    plt.text(a, b+0.05, '%.0f' % b, ha='center', va= 'bottom',fontsize=7)

plt.show()

这里写图片描述

总结:主要是练习SparkRDD的一些基本操作,包括普通RDD与PairRDD,如何把一个普通RDD转换为(key,value)键值对RDD,然后进行统计操作。另一方面是对python可视化工具matplotlib的学习。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值