Spark1.0.0 多语言编程之Scala实现

最新推荐文章于 2017-04-21 20:49:00 发布

雪峰庙

最新推荐文章于 2017-04-21 20:49:00 发布

阅读量477

点赞数

分类专栏： spark基础知识

spark基础知识专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了使用Scala语言和Spark框架进行Sogou日志数据分析的方法，包括查询数量统计、搜索结果排名分析及用户会话内查询次数最多用户的识别。通过示例代码展示了如何在IntelliJ IDEA环境中搭建开发环境并执行Spark任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Scala作为Spark的原生语言，在开发上Spark应用程序上最大的优势是支持所有的功能、容易追踪bug等。试过几种开发工具，笔者还是觉得IntelliJ IDEA开发Scala程序比较方便，当然开发Spark 应用程序也一样。

Spark开发环境参见 Spark1.0.0 开发环境快速搭建，本篇是对 Spark1.0.0 多语言编程的需求进行scala实现。
至于在IntelliJ IDEA内如何创建scala项目，详见使用IntelliJ IDEA开发Spark1.0.0应用程序。在本篇中建立一个名为week6的项目，并含有一个week6的包，这里贴上class的代码。

1：sogou日志数据分析scala实现
A：用户在00:00:00到12:00:00之间的查询数

package week6
import org.apache.spark.{SparkContext, SparkConf}
object SogouA {
def main(args: Array[String]) {
if (args.length == 0) {
System.err.println("Usage: SogouA <file1>")
System.exit(1)
}
val conf = new SparkConf().setAppName("SogouA")
val sc = new SparkContext(conf)
val sgRDD=sc.textFile(args(0))
println(sgRDD.map(_.split('\t')(0)).filter(x => x >= "00:00:00" && x <= "12:00:00").count)
sc.stop()
}
}

复制代码

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouA week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
结果：527300

B：搜索结果排名第1，但是点击次序排在第2的数据有多少?

package week6
import org.apache.spark.{SparkContext, SparkConf}
object SogouB {
def main(args: Array[String]) {
if (args.length == 0) {
System.err.println("Usage: SogouB <file1>")
System.exit(1)
}
val conf = new SparkConf().setAppName("SogouB")
val sc = new SparkContext(conf)
val sgRDD=sc.textFile(args(0))
println(sgRDD.map(_.split('\t')).filter(_.length ==5).map(_(3).split(' ')).filter(_(0).toInt ==1).filter(_(1).toInt ==2).count)
sc.stop()
}
}

复制代码

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouB week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
结果：79765

C：一个session内查询次数最多的用户的session与相应的查询次数

package week6
import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.SparkContext._
object SogouC {
def main(args: Array[String]) {
if (args.length == 0) {
System.err.println("Usage: SogouC <file1>")
System.exit(1)
}
val conf = new SparkConf().setAppName("SogouC")
val sc = new SparkContext(conf)
val sgRDD=sc.textFile(args(0))
sgRDD.map(_.split('\t')).filter(_.length ==5).map(x=>(x(1),1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)).take(10).foreach(println)
sc.stop()
}
}

复制代码

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouC week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt

结果：
(11579135515147154,431)
(6383499980790535,385)
(7822241147182134,370)
(900755558064074,335)
(12385969593715146,226)
(519493440787543,223)
(787615177142486,214)
(502949445189088,210)
(2501320721983056,208)
(9165829432475153,201)