spark sql on hive初探

最新推荐文章于 2024-07-10 07:15:00 发布
转载 最新推荐文章于 2024-07-10 07:15:00 发布 · 761 阅读 · 1

本文分享了在 Spark 1.0.0 版本中使用 Spark SQL on Hive 的实践过程，包括解决 LZO 压缩问题及无法连接远程 metastore 的问题，并最终通过 spark-submit 脚本成功执行。
   前一段时间由于shark项目停止更新，sql on spark拆分为两个方向，一个是spark sql on hive,另一个是hive on spark。hive on spark达到可用状态估计还要等很久的时间，所以打算试用下spark sql on hive，用来逐步替代目前mr on hive的工作。
  当前试用的版本是spark1.0.0,如果要支持hive,必须重新进行编译，编译的命令有所变化  
  1. export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
  2. mvn -Pyarn -Phive -Dhadoop.version=2.3.0-cdh5.0.0 -DskipTests clean package
复制代码
  写了段比较简单的代码
  1. val conf = new SparkConf().setAppName("SqlOnHive")
  2.     val sc = new SparkContext(conf)
  3.     val hiveContext = new HiveContext(sc)
  4.     import hiveContext._
  5.     hql("FROM tmp.test SELECT id limit 1").foreach(println)
复制代码
编译后export出jar文件，使用standalone模式，故采用java -cp的方式提交，提交之前需要将hive-site.xml文件copy到$SPARK_HOME/conf目录下
  1. java -XX:PermSize=256M -cp /home/hadoop/hql.jar com.yintai.spark.sql.SqlOnHive spark://h031:7077
复制代码
提交后会报异常
  1. java.lang.RuntimeException: Error in configuring object
  2.     at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
  3.     at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
  4.     at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
  5.     at org.apache.spark.rdd.HadoopRDD.getInputFormat(HadoopRDD.scala:155)
  6.     at org.apache.spark.rdd.HadoopRDD$anon$1.<init>(HadoopRDD.scala:187)
  7.     at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:181)
  8.     at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:93)
  9.     at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:262)
  10.     at org.apache.spark.rdd.RDD.iterator(RDD.scala:229)
  11.     at org.apache.spark.rdd.MappedRDD.compute(MappedRDD.scala:31)
  12.     at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:262)
  13.     at org.apache.spark.rdd.RDD.iterator(RDD.scala:229)
  14.     at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:35)
  15.     at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:262)
  16.     at org.apache.spark.rdd.RDD.iterator(RDD.scala:229)
  17.     at org.apache.spark.rdd.MappedRDD.compute(MappedRDD.scala:31)
  18.     at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:262)
  19.     at org.apache.spark.rdd.RDD.iterator(RDD.scala:229)
  20.     at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:35)
  21.     at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:262)
  22.     at org.apache.spark.rdd.RDD.iterator(RDD.scala:229)
  23.     at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:158)
  24.     at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:99)
  25.     at org.apache.spark.scheduler.Task.run(Task.scala:51)
  26.     at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:187)
  27.     at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:895)
  28.     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:918)
  29.     at java.lang.Thread.run(Thread.java:662)
  30. Caused by: java.lang.reflect.InvocationTargetException
  31.     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  32.     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
  33.     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
  34.     at java.lang.reflect.Method.invoke(Method.java:597)
  35.     at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106)
  36.     ... 27 more
  37. Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.
  38.     at org.apache.hadoop.io.compress.CompressionCodecFactory.getCodecClasses(CompressionCodecFactory.java:135)
  39.     at org.apache.hadoop.io.compress.CompressionCodecFactory.<init>(CompressionCodecFactory.java:175)
  40.     at org.apache.hadoop.mapred.TextInputFormat.configure(TextInputFormat.java:45)
  41.     ... 32 more
  42. Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found
  43.     at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1801)
  44.     at org.apache.hadoop.io.compress.CompressionCodecFactory.getCodecClasses(CompressionCodecFactory.java:128)
  45.     ... 34 more

复制代码


解决办法是需要设置相关的环境变量，在spark-env.sh中设置
  1. SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/path/to/your/hadoop-lzo/libs/native
  2.     SPARK_CLASSPATH=$SPARK_CLASSPATH:/path/to/your/hadoop-lzo/java/libs
复制代码


修改过环境变量之后重新提交，继续报错
  1. 14/07/23 10:25:19 ERROR RetryingHMSHandler: NoSuchObjectException(message:There is no database named tmp)
  2.         at org.apache.hadoop.hive.metastore.ObjectStore.getMDatabase(ObjectStore.java:431)
  3.         at org.apache.hadoop.hive.metastore.ObjectStore.getDatabase(ObjectStore.java:441)
  4.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  5.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
  6.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
  7.         at java.lang.reflect.Method.invoke(Method.java:597)
  8.         at org.apache.hadoop.hive.metastore.RetryingRawStore.invoke(RetryingRawStore.java:124)
  9.         at com.sun.proxy.$Proxy9.getDatabase(Unknown Source)
  10.         at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.get_database(HiveMetaStore.java:628)
  11.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  12.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
  13.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
  14.         at java.lang.reflect.Method.invoke(Method.java:597)
  15.         at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invoke(RetryingHMSHandler.java:103)
  16.         at com.sun.proxy.$Proxy10.get_database(Unknown Source)
  17.         at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getDatabase(HiveMetaStoreClient.java:810)
  18.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  19.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
  20.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
  21.         at java.lang.reflect.Method.invoke(Method.java:597)
  22.         at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:89)
  23.         at com.sun.proxy.$Proxy11.getDatabase(Unknown Source)
  24.         at org.apache.hadoop.hive.ql.metadata.Hive.getDatabase(Hive.java:1139)
  25.         at org.apache.hadoop.hive.ql.metadata.Hive.databaseExists(Hive.java:1128)
  26.         at org.apache.hadoop.hive.ql.exec.DDLTask.switchDatabase(DDLTask.java:3479)
  27.         at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:237)
  28.         at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151)
  29.         at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:65)
  30.         at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1414)
  31.         at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1192)
  32.         at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1020)
  33.         at org.apache.hadoop.hive.ql.Driver.run(Driver.java:888)
  34.         at org.apache.spark.sql.hive.HiveContext.runHive(HiveContext.scala:185)
  35.         at org.apache.spark.sql.hive.HiveContext.runSqlHive(HiveContext.scala:160)
  36.         at org.apache.spark.sql.hive.HiveContext$QueryExecution.toRdd$lzycompute(HiveContext.scala:249)
  37.         at org.apache.spark.sql.hive.HiveContext$QueryExecution.toRdd(HiveContext.scala:246)
  38.         at org.apache.spark.sql.hive.HiveContext.hiveql(HiveContext.scala:85)
  39.         at org.apache.spark.sql.hive.HiveContext.hql(HiveContext.scala:90)
  40.         at com.yintai.spark.sql.SqlOnHive$.main(SqlOnHive.scala:20)
  41.         at com.yintai.spark.sql.SqlOnHive.main(SqlOnHive.scala)

  43. 14/07/23 10:25:19 ERROR DDLTask: org.apache.hadoop.hive.ql.metadata.HiveException: Database does not exist: tmp
  44.         at org.apache.hadoop.hive.ql.exec.DDLTask.switchDatabase(DDLTask.java:3480)
  45.         at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:237)
  46.         at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151)
  47.         at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:65)
  48.         at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1414)
  49.         at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1192)
  50.         at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1020)
  51.         at org.apache.hadoop.hive.ql.Driver.run(Driver.java:888)
  52.         at org.apache.spark.sql.hive.HiveContext.runHive(HiveContext.scala:185)
  53.         at org.apache.spark.sql.hive.HiveContext.runSqlHive(HiveContext.scala:160)
  54.         at org.apache.spark.sql.hive.HiveContext$QueryExecution.toRdd$lzycompute(HiveContext.scala:249)
  55.         at org.apache.spark.sql.hive.HiveContext$QueryExecution.toRdd(HiveContext.scala:246)
  56.         at org.apache.spark.sql.hive.HiveContext.hiveql(HiveContext.scala:85)
  57.         at org.apache.spark.sql.hive.HiveContext.hql(HiveContext.scala:90)
  58.         at com.yintai.spark.sql.SqlOnHive$.main(SqlOnHive.scala:20)
  59.         at com.yintai.spark.sql.SqlOnHive.main(SqlOnHive.scala)
复制代码
造成这个错误的原因就是spark程序无法加载到hive-site.xml，从而无法获取到远程metastore服务的地址，只能在本地的derby数据库中查找，自然找不到相关库表的元数据信息。spark sql实际上是通过实例化HiveConf类来加载hive-site.xml文件的，这个跟hive cli的方式是一致的，代码如下
  1. ClassLoader classLoader = Thread.currentThread().getContextClassLoader();
  2.     if (classLoader == null) {
  3.       classLoader = HiveConf.class.getClassLoader();
  4.     }
  5.     hiveDefaultURL = classLoader.getResource("hive-default.xml");
  6.     // Look for hive-site.xml on the CLASSPATH and log its location if found.
  7.     hiveSiteURL = classLoader.getResource("hive-site.xml");

复制代码
使用java -cp提交的方式不能正确的设置环境变量，在1.0.0版本中，新增了使用spark-submit脚本进行提交的方式，后来改为使用此脚本来提交
  1. /usr/lib/spark/bin/spark-submit --class com.yintai.spark.sql.SqlOnHive
  2.     --master spark://h031:7077
  3.     --executor-memory 1g
  4.     --total-executor-cores 1
  5.     /home/hadoop/hql.jar
复制代码

这个脚本在提交过程中会设置SparkConf中的spark.executor.extraClassPath和spark.driver.extraClassPath属性，从而保证可以正确加载到所需的配置文件，到此测试成功。

    目前spark sql on hive兼容了大部分hive的语法和UDF，在SQL解析的时候使用了Catalyst框架，作业在运行效率上高出hive很多，不过目前的版本还存在一些BUG，稳定性上会有一些问题，需要等到新的稳定版发布再进行进一步的测试。


    参考资料

    http://spark.apache.org/docs/1.0.0/sql-programming-guide.html

[url]http://hsiamin.com/posts/2014/05/03/enable-lzo-compression-on-hadoop-pig-and-spark/[/url]

本文出自 “17的博客” 博客，请务必保留此出处http://xiaowuliao.blog.51cto.com/3681673/1441737

SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2712
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
sparkSQL sparkSQL整合hive（spark on hive）
a3125504x的博客
09-15 1015
sparkSQL整合hivesparkSQL整合hivesparkSQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景 sparkSQL整合hive sparkSQL整合hive，即spark on hive。本质是把hive当做数据源，使用spark作为计算引擎来处理数据。 sparkSQL整合hive步骤 把hive安装目录下conf文件夹里的hive-site.xml拷贝到集群每一个spark安装目录下对应的conf文件夹中 目的：让spark知道存放hive表的元数据的M
Spark-SQL连接Hive 的五种方法
weixin_60343288的博客
12-09 6278
因为 Spark Thrift Server 的接口和协议都和 HiveServer2 完全一致，因此我们部署好 Spark Thrift Server 后，可以直接使用 hive 的 beeline 访问 Spark Thrift Server 执行相关语句。3.运行bin/目录下的spark-sql.cmd 或者打开cmd，在 D:\spark\spark-3.0.0-bin-hadoop3.2\bin当中直接运行spark-sql。5.到spark的bin目录下打开spark-shell.cmd。
SparkSql On Hive
难得糊涂
05-08 1087
序言 sql 在 hive的使用具体还分为了2种解决方案： spark sql：是hive上的sql语句，spark sql用的是spark 引擎。Spark SQL的前身是Shark，是给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，其对Hive有太多依赖。 hive on spark：是hive上的sql语句，hive on spark是hive借用spark的引擎。 Hive on Spark是由Cloudera发起，将Hive的查询作为Spark的任务提交到.
SparkSQL>Spark-On-Hive
qq_44509920的博客
04-15 475
文章目录概述Hive开启MetaStore服务SparkSQL整合Hive MetaStore使用SparkSQL操作Hive表 概述 官网 http://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html Configuration of Hive is done by placing your hive-site.xml...
Apache Hudi初探(七)(与spark的结合)
monkeyboy_tech的博客
05-21 724
目前hudi的与spark的集合还是基于spark datasource V1来的，这一点可以查看。最后还会在spark中刷新刚才建立的表，这样才spark的查询中就能查询到插入的hudi表。为true（默认是false，不开启），于此同时会把。表，分别对应snapshot表（实时表）和读优化表。这里主要是同步到数据到hive的元数据中，如果。），则读优化表，则不会家*_ro*后缀。集合中，便于后续调用，当然如果设置了。表来说，会有两张表，一张是*_rt。开启（默认是false，不开启）
spark-sql测试总结
oufuji的博客
12-17 4102
spark-sql测试总结 最近倒腾spark-sql，原来测试都是很小的数据，由于自己的是6个虚拟机资源有限，也不能太大，于是在找了帖子。 http://colobu.com/2014/12/11/spark-sql-quick-start/ Spark SQL 初探： 使用大数据分析2000万数据 ############## 不要问我数据怎么下载的，自己搜索，我用完就删了
Apache Hudi初探(与spark的结合)
monkeyboy_tech的博客
04-22 1681
hoodie.datasource.write.keygenerator.class”/"hoodie.sql.origin.keygen.class"和“hoodie.table.keygenerator.class”进行比对。获取“hoodie.datasource.write.keygenerator.class”的值，并对应用到“__partition_columns” 的值上，并以逗号分隔。目前hudi的与spark的集合还是基于spark datasource V1来的，这一点可以查看。
【Apache Drill Join操作】：SQL on Hadoop的灵活性与实践
![【Apache Drill Join操作】：SQL on Hadoop的灵活性与实践]...Drill的推出标志着SQL on Hadoop技术的一大进步，使得Hadoop上的即席查询(SAQ)变得更加高效和易用。 ## 1.2 SQL on
【DataFrame初探】：结构化数据处理，Spark的杀手锏
[【DataFrame初探】：结构化数据处理，Spark的杀手锏](https://dezyre.gumlet.io/images/blog/pyspark-dataframe-cheatsheet/Selecting_DataFrame_columns_in_PySpark.webp?w=376&dpr=2.6) # 摘要 DataFrame作为一...
Sparksql On Hive（idea与spark-shell）
Mogeko1的博客
04-26 802
Sparksql On Hive（idea与spark-shell）
摸鱼大数据——Spark SQL——Spark on Hive部署
最新发布
weixin_65694308的博客
07-10 1450
spark.sql("""insert into spark_demo.stu values(1,'张三'),(2,'李四')""")spark-sql>insert into spark_demo.stu values(1,'张三'),(2,'李四');（1）检查hive中 hive-site.xml中，是否有关于metastore的地址配置。4- 对于使用者/程序员来说，SparkSQL与Hive集成，对于上层使用者来说，是完全透明的。# 测试是否能在spark_demo建表: 可以。
spark sql on hive笔记一
三劫散仙
12-09 856
spark sql on hive非常方便，通过共享读取hive的元数据，我们可以直接使用spark sql访问hive的库和表，做更快的OLAP的分析。 spark 如果想直接能集成sql，最好自己编译下源码： 切换scala的版本为新版本 dev/change-scala-version.sh 2.11 编译支持hive mvn -Pyarn -Phive -Phive-thrift
sparksql on hive实践
清风自来
12-05 804
hive-site.xml拷贝到spark的conf目录下后，编程测试如下： import org.apache.spark._ object exptest { def main(args: Array[String]){ System.setProperty("hadoop.home.dir", "C:\\winutils\\") var masterUrl = "
Spark SQL:从入门到精通(六)[ Spark-On-Hive]
04-23 3948
概述 官网 http://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html Configuration of Hive is done by placing your hive-site.xml, core-site.xml (for security configuration), and hdfs-site.xml...
Spark SQL on Hive
布里啾啾迪布利多的博客
03-14 2271
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如文本、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。SparkSql整合hive就是获取hive表中的元数据...
spark sql on hive
大数据机器学习
04-28 2418
Spark-sql部署 版本 Hadoop-2.5.0-cdh5.3.2  Hive-1.2.1-cdh5.3.2 Spark-1.5.0 以bihdp01节点为例 spark master在CNSH001上：spark://bihdp01:7077 spark HistoryServer在CNSH001上：bihdp01:8032 spark eventLog在hdfs上：hdf
SparkSQL-SparkOnHive
dafsq的博客
03-17 634
SparkSQL-SparkOnHive
Spark学习（8）-SparkSQL的运行流程，Spark On Hive
一个人的江湖
01-07 2903
将Filter这种可以减少数据集的操作下推，放在Scan的位置，这样可以减少操作时候的数据量。RDD的运行会完全按照开发者的代码执行， 如果开发者水平有限，RDD的执行效率也会受到影响。当使用ThriftServer后，相当于是一个持续性的Spark On Hive集成模式，它提供10000端口，持续对外提供服务，外部可以通过这个端口连接上来，写sql，让Spark运行。上面的过程生成的AST其实最终没有办法直接运行，AST叫做逻辑计划，结束后需要生成物理计划，从而生成RDD来运行。
spark sql 与 spark sql on hive 区别
06-28
### 回答1： Spark SQL是Spark生态系统中的一个模块，用于在Spark中进行结构化数据处理。它提供了一个类似于SQL的查询语言，可以用于查询和操作数据。Spark SQL还提供了DataFrame API，可以用于以编程方式查询和操作数据。 Spark SQL on Hive是Spark SQL的一个扩展，它允许Spark使用Hive元数据存储和查询数据。这意味着Spark可以使用Hive的表和分区，以及Hive的UDF和UDAF函数。Spark SQL on Hive还支持Hive的查询语言HQL。 因此，Spark SQL和Spark SQL on Hive的区别在于Spark SQL是Spark生态系统中的一个独立模块，而Spark SQL on Hive是Spark SQL的一个扩展，它允许Spark使用Hive元数据存储和查询数据。 ### 回答2： Spark SQL是Spark生态系统中的一个模块，它提供了一种用于Spark的交互式查询和分析数据的方式。Spark SQL支持不同的数据源，包括Hadoop HDFS，Apache Cassandra和Apache Hive。同时，Spark SQL还支持在SQL查询之外使用DataFrame API进行编程。 Spark SQL on Hive是指在Spark SQL中使用Hive数据源进行数据查询和分析。在使用Spark SQL on Hive时，Spark将会利用Hive的元数据和查询优化器来提高查询性能。这使得Spark SQL on Hive在企业环境中是一种极为常见的部署方式。 Spark SQL与Spark SQL on Hive的主要区别在于数据源和优化器。Spark SQL可以与各种不同的数据源进行交互，而Spark SQL on Hive主要使用Hive元数据和优化器来处理数据。此外，Spark SQL也可以使用自己的优化器，它针对Spark SQL的特点进行了优化和改进。 另一个区别是在处理大规模数据时，Spark SQL比Spark SQL on Hive表现更好。这是因为Spark SQL使用了自己的内存管理和优化策略，可以将大量的计算分布到多个节点上，从而处理更快、更高效。 综上所述，Spark SQL和Spark SQL on Hive都是非常强大并且受欢迎的Spark模块，它们都具有广泛的应用和不同的优势。选择哪种模块取决于具体应用场景和需求。 ### 回答3： Spark SQL 是 Spark 内置的一种 SQL 接口，用于操作分布式数据集（由 RDD 或 Spark 数据源构建）。Spark SQL 提供了一个 SQL 编程界面和 DataFrame API，让其与 SQL 数据仓库和传统数据仓库类似。 Spark SQL on Hive 是一个构建在 Hive 之上的 Spark SQL 解决方案。它允许 Spark SQL 直接操作 Hive 的数据仓库，使用 Hive 的方言（HiveQL）和元数据。Spark SQL on Hive 可以通过 Spark 操作 Hive 仓库来提供 SQL 查询和 HiveQL 查询功能。 由于 Spark SQL on Hive 是构建在 Hive 之上的，因此它提供了很多 Hive 的优点，比如先进的查询优化和元数据管理功能。它使用HDFS作为存储层，通过优化和管理查询计划来提高性能。 而 Spark SQL 直接使用 Spark 原生的内存计算引擎，不需要依赖于 Hive 的元数据解析和查询计划优化。这使得 Spark SQL 具有更好的实时性能和灵活性，可以直接在内存中操作数据。 总的来说，Spark SQL on Hive 主要是为了兼容 Hive 所提供的，而 Spark SQL 则是相对独立的一种 SQL 操作方式，更适合实时处理和大数据量的计算场景。Spark SQL on Hive 更适合用于传统的数据仓库和 BI 应用场景，而 Spark SQL 更适合用于实时数据处理和机器学习等高性能计算场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值