zy1992As的博客

上述代码中，执行words.reduceByKey((a，b) => a + b)操作，共分为两个步骤，分别是先执行reduceByKey()操作，将所有Key相同的Value值合并到一起，生成一个新的键值对(例如(“spark”，(1，1，1)));例如，(“spark”，1)、(“spark”，1)、(“spark”，1)这三个键值对的Key都是“spark”，合并后得到新的键值对(“spark”，(1，1，1))。filter(func)操作会筛选出满足函数func的元素，并返回一个新的数据集。

而Spark每次MapReduce操作是基于线程的，只在启动Executor时启动一次JVM，内存的Task操作是在线程复用的。如果操作复杂，很多的shufle操作，那么Hadoop的读写IO时间会大大增加。Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。公司在技术人员储备满足的情况下，同样的业务处理，优先选择spark来进行实现，这样对统计分析的执行效率会有很大的提升。