shanhai3000的博客

Spark SQL简介在Hadoop体系中，有Hive可以帮助我们将SQL转换为MR程序，Hive的基本架构如下：Hive的工作流程为因此，我们说Hive在Hadoop体系中扮演的是“编程”的角色，它本身并没有存储数据。同样的，在我们使用Spark时，也很自然的会有这样的需求——通过编写SQL获取结果，避免重复的编写大量Spark程序代码。在初期是，Shark就是扮演这样的角色，因此也被称为“Hive on Spark”。甚至Shark的整体架构和Hive都是类似的，区别是Hive将SQL转换

Hadoop环境基于如何搭建Hadoop HA集群准备工作spark-2.4.5-bin-without-hadoop.tgz修改配置spark-env.shexport JAVA_HOME=/usr/local/src/jdk1.8.0_241/export HADOOP_HOME=/usr/local/src/hadoop-2.10.0export SPARK_DIST_CLASSPATH=$(/usr/local/src/hadoop-2.10.0/bin/hadoop clas