spark
关注
分享
扫一扫
山鬼谣me
我的这一生
展开
-
spark sql 编程笔记
环境spark：2.3.1 java：1.8 Hadoop：2.7.6前言个人笔记正文SparkSession这个是java代码的入口点。一切的一切都是从这里开始的。DataFrames相当于关系型数据库中的表的概念 在spark中是Rows。Temporary views 临时视图创建方法：SparkSession spark =...原创 2018-06-22 09:28:41 · 405 阅读 · 0 评论 -
spark RDD 笔记
环境spark：2.3.1 java：1.8 Hadoop：2.7.6前言个人笔记概念在较高层次，每个Spark应用都是由driver program（驱动程序）组成，其中驱动程序就是运行用户main函数并在集群上执行各种并行操作。Spark提供的主要抽象就是RDD，它是跨群集节点分区的元素集合，可以并行操作。 RDDs是在Hadoop文件系统（或任何其他Hado...原创 2018-06-22 17:20:25 · 270 阅读 · 0 评论 -
Spark 和 Hadoop 本地【window】环境搭建
环境Spark：2.3.1 Hadoop：2.7.6 java：1.8前言最近主要是在学习Spark，根据官网的文档，想本地跑个小程序看看效果；https://spark.apache.org/docs/latest/quick-start.html#self-contained-applications具体想执行的官方代码如下：/* SimpleApp.java ...原创 2018-06-20 13:13:13 · 1806 阅读 · 0 评论