spark(四)

一、 spark 2  版本 相对于以前版本的变化

    spark core  ：

                  Accumulators (累加器)：性能更好，页面上也可以看到累加器的信息

     spark sql: 

             1、

             2、DataSet(合并了之前的dataFrame)

                  spark 2 里面没有dataframe了，dataframe只是dataset的一部分

            3、对sql语句的支持更好

                在spark 1.x的时候是不支持子查询。但是spark2 的时候可以了

            

二、spark 为什么由 1  升级到 2

转载于:https://www.cnblogs.com/liuwei6/p/6687665.html