
spark
文章平均质量分 55
JasonQ_NEU
这个作者很懒,什么都没留下…
展开
-
Spark之SparkSession
最近学习SparkSql时接触了SparkSession。SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点,来让用户学习spark的各项功能。 在spark的早期版本中,SparkContext是spark的主要切入点,由于RDD是主要的API,我们通过sparkcontext来创建和操作RDD。对于每个其他的API,我们需要使用不同的原创 2017-02-27 13:04:52 · 12759 阅读 · 0 评论 -
Spark SQL的DataFrame会不会存储相同的数据
spark版本 2.1.0实验结果是会存储相同的结果实验实验代码使用spark中代码示例JavaSparkSQLExample.java 代码路径:$SPARK_HOME/examples/src/main/java/org/apache/spark/examples/sql/JavaSparkSQLExample.java该代码示例中的部分代码粘贴如下 // $example on:cre原创 2017-02-24 11:04:49 · 510 阅读 · 0 评论