【大数据】SparkSQL和Hive的关系

petrel2015

于 2024-07-31 11:45:00 发布

阅读量455

点赞数 5

CC 4.0 BY-SA版权

文章标签：大数据 hive hadoop spark SparkSQL

本文链接：https://blog.youkuaiyun.com/petrel2015/article/details/140756085

基本指标对比

	SparkSQL	Hive
生态系统	是Spark中的一部分，很重要的一部分。所以也可以说是Hadoop的一部分	是Hadoop的一部分
存储	Spark支持存储在HDFS或S3	使用HDFS
性能	Spark计算优先使用内存，将中间结果落内存，计算更快	可以说是在MapReduce上封装了一层，底层用的MapReduce，而MapReduce不会将中间结果落内存，所以相对Spark会慢一些
查询语言	标准的SQL	HiveSQL，有针对Hive的优化和一些函数
社区活跃度	Spark近一年每周50-100个commit	Hive近一年每周5-10个commit

操作	Spark SQL 表	Hive 表	性能差异原因
插入（Insert）	不直接支持，通常通过DataFrame写入或使用 INSERT INTO 语句	直接支持，使用 LOAD DATA 或 INSERT INTO 语句	Hive 提供了直接的表加载和插入机制，而 Spa