feng的博客

实例一、对以下数据进行排序，根据收入减去支出得到最后结余从大到小排序，数据如下： SumStep运行之后结果如下： SortStep运行之后结果为上图根据结余从大到小排序。 代码如下： public class InfoBean implements WritableComparable{ private String account; private dou

1、首先添加mongo-spark依赖，官网地址 https://docs.mongodb.com/spark-connector/ org.mongodb.spark mongo-spark-connector_2.10 1.1.0 2、直接上代码 object Mongo2Hive {

object MRInSpark { /** * 求最大值最小值一直是Hadoop的经典案例，我们用Spark来实现一下， * 借此感受一下spark中mr的思想和实现方式 */ def maxMin = { val sconf = new SparkConf().setAppName("avgTest").setMaster("local[2]")

1、COUNT(DISTINCT)优化 原始语句运行时间大概215秒select dt, count(distinct case when page='2001' then uuid end) as cleanUser from dw_space_page_orc_dt where dt>='20170506' GROUP BY dt优化之后语句运行时间大概155秒 select sum(