H_hanwen的博客

我们得到编译好的spark压缩包之后，进行解压；随后进入spark文件夹，获取到spark的路径： /home/xxx/app/spark-2.1.0-bin-2.6.0-cdh5.7.0 为了后续使用方便，我建议将spark的路径添加到本地配置（~/.bash_profile） export SPARK_HOME=/home/xxx/app/spark-2.1.0-bin-2.6.0-...

正确启动spark的本地模式与standalone模式之后，我们进入spark项目的开发。 1.本地开发： 在IDEA中新建一个maven工程： 1）maven基础坐标如下： <groupId>com.imooc.spark</groupId> <artifactId>sql</artifactId> <version&g...

简单的来说，SparkSession是Spark2.0版本中SparkContext更好用的接口 package com.imooc.spark import org.apache.spark.sql.SparkSession /** * @author lihanwen * SparkSession是spark2.0之后才有的，可以用来替代SparkContext */ objec...

1.spark-shell的使用： 安装完spark之后，将spark/bin的路径配置到本地文件，即可不需要进入spark/bin目录下启动任务 1）直接打开，运行以下命令会发现无法访问hive表的数据： spark-shell --master local[2] spark.sql("show tables").show() 2）将hive/conf目录下的hive-site....