Spark实战(1) 配置AWS EMR 和Zeppelin Notebook

最新推荐文章于 2021-11-29 19:33:00 发布

ZenGeek

最新推荐文章于 2021-11-29 19:33:00 发布

阅读量1.3k

点赞数 1

分类专栏： Spark 文章标签： Spark

本文链接：https://blog.youkuaiyun.com/ZenG_xiangt/article/details/83587862

版权

本文介绍了SparkContext和SparkSession的区别，SparkSession在2.0.0之后成为推荐的使用方式，它集成了DataFrame和Dataset API，并允许配置SQL、HIVE和Streaming。此外，文章还讲解了如何在AWS EMR上进行配置，并创建Zeppelin Notebook。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                        
                    
                    SparkContext和SparkSession的区别，如何取用？ 
SparkContext: 
  在Spark 2.0.0之前使用
通过资源管理器例如YARN来连接集群
需要传入SparkConf来创建SparkContext对象
如果要使用SQL，HIVE或者Streaming的API, 需要创建单独的Context
   val conf = new SparkConf()
  .setAppName(“RetailDataAnalysis”)
  .setMaster(“spark://master:7077”)
  .

                