
spark
nebofeng
不坠青云之志。。
展开
-
Accumulator-累加器的简单使用及注意事项
累加器用于在executors中做变量更改。官方文档: 官方文档地址基于spark 2.3.3版本编写的示例demo :package pers.nebo.sparkcoreimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport org.apache.spark.util.LongAcc...原创 2019-12-29 17:30:14 · 1528 阅读 · 0 评论 -
Spark学习:求网址的top3访问地区及网站pv、uv
思路: 生成用户不同时间访问不同网站的数据,计算出pv 、uvpv 页面访一次加1 ,uv 不同用户访问 加1//ip val IP = 223 //地址 val ADDRESS = Array("北京", "天津", "上海", "重庆", "河北", "辽宁","山西", "吉林", "江苏", "浙江", "黑龙江", "安徽", "福建", "江西", "...原创 2019-11-26 23:30:40 · 1146 阅读 · 0 评论 -
Scala:基础知识介绍
最近复习了一下Scala 语法,看的课程 https://www.bjsxt.com/dashujushipin.html这里分享一下下面是练习的代码。有困惑的地方也加了自己的理解。原创 2019-11-22 22:59:54 · 221 阅读 · 0 评论