spark-sql 能够读取hive表

原创已于 2022-03-17 11:38:34 修改 · 2.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #spark #sql

于 2022-01-28 17:35:47 首次发布

本文介绍如何通过Spark SQL快速便捷地查询Hive表数据。只需将Hive的配置文件复制到Spark的conf目录，并根据需要添加MySQL连接器到jars目录。这样便能在Spark SQL交互界面上操作Hive的库和表。

在服务器中直接使用spark-sql 来读取hive表的数据，使用spark引擎进行hive表数据查询，既快又方便。

实现起来很简单，只需要把安装hive的 hive-site.xml 配置文件，复制到spark安装的conf/ 目录下即可；如果你的hive的元数据库是在mysql,还需要把连接mysql的mysql-connector-java-5.1.46.jar复制到spark安装jars/ 目录下。

然后执行 spark-sql ，在交互界面你就能读取hive 的库和表。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

上杉仓南

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Spark SQL数据源 - Hive表

IT深耕十余载，大道之简

06-01

1389

Spark SQL对Hive的支持非常强大，可以直接读取和写入Hive表中的数据。Hive是一个基于Hadoop的数据仓库，它提供了SQL接口来查询和管理存储在HDFS或其他Hadoop兼容存储系统中的数据。

Spark SQL操作Hive表

RonieWhite的博客

09-02

3081

Spark SQL支持从Hive存储中读写数据。然而，Hive存在很多的依赖，而这些依赖又不包含在默认的各类Spark发型版本中。如果将Hive的依赖放入classpath中，Spark将自动加载它们。值得注意的是，这些依赖必须在所有节点中都存在。因为他们需要通过Hive的序列化和反序列化库(SerDes)来访问存储在Hive中的数据。在Spark中配置Hive，需要将hive-site.xml, core-site.xml, hdfs-site.xml放置到Spark的conf/目录下。需要操作H

参与评论您还未登录，请先登录后发表或查看评论

Spark SQL 如何与 Hive 集成？如何在 Spark SQL 中查询 Hive 表？

最新发布

weixin_45422672的博客

10-04

301

摘要：Spark SQL与Hive集成主要通过Hive Metastore实现，支持三种配置方式：命令行参数、配置文件和编程配置（需启用enableHiveSupport）。集成后可通过Spark SQL直接查询、DataFrame API或Catalog API操作Hive表，支持读写内外表、分区表等操作。关键配置包括Metastore地址、仓库目录和数据库连接，提供动态分区、向量化查询等优化选项。故障排查可验证Metastore连接状态和检查表属性。

SparkSql拉取Hive上的数据

别人笑我太疯癫，我笑他人看不穿。

03-01

1380

想要读取Hive的数据我们首先要从集群中需要xml文件获取下来，分别是core-site.xml、hdfs-site.xml、hive-site.xml，将这三个文件放在项目的resource目录下，spark运行的时候会自动读取在原本的Spark pom文件中导入spark-hive的包，大家根据自己的scala和spark的版本去选择自己合适的，我用的如下 <dependency> <groupId>org.apache.spark</grou

sparksql读取hive表中数据

张不帅

08-11

8862

文章目录spark sql与hive本地调试new HiveContext空指针异常权限: 异常执行select查询的时候找不到host spark sql与hive本地调试将hive-site.xml文件拷贝到resource目录中 pom.xml <dependency> <groupId>org.apache.spark</grou...

sparksql 操作hive

afei2530的博客

08-11

391

写在前面:hive的版本是1.2.1spark的版本是1.6.x http://spark.apache.org/docs/1.6.1/sql-programming-guide.html#hive-tables 查看hive和spark版本对应情况 SparkSQL操作Hive中的表数据spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎...

如何解决Spark-sql读取hive分区表执行效率低问题

zjjcchina的博客

08-09

1362

在开发过程中使用spark去读取hive分区表的过程中（或者使用hive on spark、nodepad开发工具），部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题。2、自定义规则CheckPartitionTable类，实现Rule，将规则类追加至Optimizer.batches: Seq[Batch]中。1、自定义规则CheckPartitionTable类，实现Rule，通过以下方式创建SparkSession。...

spark-shell与spark-sql的访问hive

H_hanwen的博客

11-22

2644

1.spark-shell的使用：安装完spark之后，将spark/bin的路径配置到本地文件，即可不需要进入spark/bin目录下启动任务 1）直接打开，运行以下命令会发现无法访问hive表的数据： spark-shell --master local[2] spark.sql("show tables").show() 2）将hive/conf目录下的hive-site....

sparkshell 操作hive表_Spark记录-Spark-Shell客户端操作读取Hive数据(示例代码)

weixin_39633781的博客

01-14

1210

1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下2.开启hive元数据服务：hive --service metastore3.开启hadoop服务：sh $HADOOP_HOME/sbin/start-all.sh4.开启spark服务：sh $SPARK_HOME/sbin/start-al...

【大数据学习】之用spark-sql和spark-shell操作hive里面的表数据

奔走觅衣粮de博客

03-15

2665

SparkSQL与Hive的交互有两种方式，一种是spark-sql,另一种是spark-shell。要注意，访问hive前要把$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf，还有必须要启动hdfs，因为hive的数据是存放在hdfs上的，既然要访问hive所以需要启动hdfs。一、启动spark-sql连hive 1、首先要配置spark...

使用Spark SQL读取Hive上的数据

杜海的博客

12-23

6609

Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如Parquet、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。本文就是来介绍如何通过Spark SQL来读取...

spark sql读写hive的过程

chanyue123的博客

01-17

9100

Spark sql读写hive需要hive相关的配置，所以一般将hive-site.xml文件放到spark的conf目录下。代码调用都是简单的，关键是源码分析过程，spark是如何与hive交互的。 1. 代码调用读取hive代码

SparkSQL读取Hive中的数据

weixin_30247781的博客

12-11

1208

由于我Spark采用的是Cloudera公司的CDH，并且安装的时候是在线自动安装和部署的集群。最近在学习SparkSQL，看到SparkSQL on HIVE。下面主要是介绍一下如何通过SparkSQL在读取HIVE的数据。（说明：如果不是采用CDH在线自动安装和部署的话，可能需要对源码进行编译，使它能够兼容HIVE。编译的方式也很简单，只需要在Spark_SRC_home（源...

Spark SQL 快速入门系列（五）SparkSQL 访问 Hive

weixin_45417821的博客

09-06

1336

文章目录访问 HiveSparkSQL 整合 Hive访问 Hive 表idea实现SparkSQL连接hive 访问 Hive 导读 1，整合 SparkSQL 和 Hive, 使用 Hive 的 MetaStore 元信息库 2，使用 SparkSQL 查询 Hive 表 3，案例, 使用常见 HiveSQL 4，写入内容到 Hive 表 SparkSQL 整合 Hive 导读 1，开启 Hive 的 MetaStore 独立进程 2，整合 SparkSQL 和 Hive 的 MetaStore

hive内部表和外部表的区别_Spark SQL - Hive表

weixin_39998795的博客

12-01

425

Hive与Spark库捆绑为HiveContext，它继承自SQLContext。使用HiveContext，您可以在HiveMetaStore中创建和查找表，并使用HiveQL在其上写入查询。没有现有Hive部署的用户仍然可以创建HiveContext。当未由hive-site.xml配置时，上下文会自动在当前目录中创建名为metastore_db的元数据库和名为Hive与Spark库捆绑...

spark-sql读取hive

csdncjh的博客

11-16

3236

Spark-1.3.1与Hive整合实现查询分析操作步骤 1.我们可以通过指定SPARK_CLASSPATH变量，将需要访问Hive的元数据存储MySQL的驱动包加入进去，然后直接启动Spark SQL Shell即可。 SPARK_CLASSPATH="$SPARK_CLASSPATH:/app/apache-hive-1.2.1-bin/lib/mysql-connector-ja

SparkSql使用spark-sql cli查询Hive里面的数据

张俊杰的博客

11-22

1070

使用Spark-Shell方式 https://blog.youkuaiyun.com/qq_41489540/article/details/109956754 使用spark-sql cli 这种使用场景基本就是测试环境用用,生产环境很少用… 为什么要有spark-sql cli? 因为在spark-shell执行 hive 方面的查询比较麻烦需要 .spark.sql("select * from student ").show方式,很麻烦 Spark 专门给我们提供了书写 HiveQL 的工具: spark

黑猴子的家：Spark Sql 读取 Hive 数据

黑猴子的博客

11-07

407

1、HiveAnalysis import java.util.UUID import net.sf.json.JSONObject import org.apache.spark.SparkConf import org.apache.spark.sql.{SaveMode, SparkSession} import scala.collection.mutable object Hive...

Spark 操作hive

分享程序猿的内心世界

09-24

444

spark 读取hive数据在 hive的目录下启动hive 服务hive --service metastore object CreateDateFrameFromHive { def main(args: Array[String]):Unit = { val spark = SparkSession.builder().appName("CreateDataFrameFromHive").enableHiveSuppo...

spark-sql连接hive步骤

04-17

然后是配置文件的处理，包括hive-site.xml、core-site.xml和hdfs-site.xml，这些文件需要复制到Spark的conf目录下，以便Spark能够访问Hive的元数据和HDFS。另外，不同的运行环境可能有不同的步骤，比如使用spark-...