haijiege的专栏

Spark 中没有自带 sbt，需要手动安装sbt，可在官网https://www.scala-sbt.org/download.html下载，我们这里使用的是sbt-0.13.9.tgz 我们选择安装在 /usr/local/sbt 中：sudo mkdir /usr/local/sbtsudo chown -R hadoop /usr/local/sbt # 此处的 hadoop 为...

Action 操作1、 collect() ,返回值是一个数组，返回dataframe集合所有的行2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行3、 count() 返回一个number类型的，返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, std...

在IDEA中运行WordCount成功打包后使用命令：./spark-submit --class WordCount /home/hadoop/WordCount/out/artifacts/WordCount_jar/WordCount.jar运行后报错：查了好久发现可能跟package name有关，于是尝试下面的提交方式：./spark-submit --class scala.dblab...

本人刚开始接触Scala语言，想搭建一个IDE开发环境，所有的操作都是按照网上的做的，但是就是没找到运行的地方在哪里，如图：朋友告诉我，我的文件建错了，应该建一个object而不是建一个class写入相应的代码后，右键，你会神奇的发现，有run了，本人刚学Scala，不要喷，也希望帮助到像我一样刚入门的人。输出为：[plain] view plain copy....../Users/eric/D...

1.PairRDD介绍    Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为PairRDD。PairRDD提供了并行操作各个键或跨节点重新进行数据分组的操作接口。例如，PairRDD提供了reduceByKey()方法，可以分别规约每个键对应的数据，还有join()方法，可以把两个RDD中键相同的元素组合在一起，合并为一个RDD。2.创建Pair RDD    程序示例：...

sortBy函数源码：接收三个参数，第一个参数必须，第二个和第三个参数非必要def sortBy[K](       f: (T) => K,       ascending: Boolean = true,       numPartitions: Int = this.partitions.length)       (implicit ord: Ordering[K], ctag: C...