hxiaowang的博客

最近在使用Spark进行一些日志分析，需要对日志中的一些(key,value)型数据进行排序，并取出value最多的10条数据。经过查找资料，发现Spark中的top()函数可以取出排名前n的元素，以及sortBy()函数可以对(key,value)数据根据value进行排序，原以为一切都很好解决，但是实际情况并没有得到想要的结果数据，研究了部分源码，才最终达到了想要的数据，特在此备注和分享。

今天导入项目时遇到了一个问题解决方法如下然后就好了如果出现里代码标红的 可以重新编译下 mvn clean install

看到以前很细的关于排序的文章，偷偷的将其收入希望可以让更多人看到。来源：http://blog.youkuaiyun.com/dai451954706/article/details/52668258 最近在使用Spark进行一些日志分析，需要对日志中的一些(key,value)型数据进行排序，并取出value最多的10条数据。经过查找资料，发现Spark中的top()函数可以取出排名前...