SparkSQL集成Hive

最新推荐文章于 2024-12-11 13:46:45 发布
原创 最新推荐文章于 2024-12-11 13:46:45 发布 · 4.2k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#SparkSQL #Hive

本文详细介绍了如何在Spark环境中配置并使用Hive，包括必要的文件拷贝、集群启动步骤及MySQL驱动的设置。通过具体操作指导，确保Spark能正确读取Hive中的表数据。

（1）相关配置：

将以下文件拷贝到 $SPARK_HOME/conf 目录下

Hive: hive-site.xml

Hadoop: core-site.xml和hdfs-site.xml

同时，启动Spark shell 的时候，需要制定mysql的驱动

首先查看core-site.xml，hdfs-site.xml，hive-site.xml

 

 

 

(2)拷贝mysql-connector-java-

然后将 root/hive/lib 下面的mysql-connector-java-5.1.39.jar拷贝到某个目录下（可以自己设定目录）：

如root/input 目录下：

 

 

然后首先启动hdfs.yarn集群和yarn

start-hdfs.sh

start-yarn.sh

 

接着启动spark：sbin//start-all.sh

接着在spark 下输入：

bin/spark-shell --master spark://hd09-01:7077 --jars /root/input/mysql-connector-java-5.1.39.jar

备注：hd09-01 是对应集群的主机名

输入：spark.sql("show tables").show

查看是否显示hive中的表名

 

成功显示hive的所有表

 

 

 

 

Spark SQL 集成Hive（一）
xiaohu21的博客
10-08 783
Spark SQL 集成Hive（一） 1. 背景 Hive可以看做是一个转换器，将SQL转换为mapreduce或者spark程序 Spark SQL也可以看成一个转换器，将SQL转换为spark程序 Hive集成Spark SQL有几种集成方式，一种是直接使用Spark SQL替代Hive，SQL是Spark SQL，程序转换也是Spark 程序，唯一有关联的就是一个hive-site.xml配置文件。本文讲述的就是第一种 另外一种集成方式就是SQL还是hive，但执行引擎变成了Spark。 2.
Spark SQL整合Hive
m0_50652491的博客
06-21 541
Hive 是一个基于 Hadoop 的数据仓库架构，它使用 SQL 语句（HiveQL）来读写和管理大型分布式数据集。Hive 通过将 SQL 语句转化为 MapReduce（或 Apache Spark、Apache Tez）任务，降低了 Hadoop 的使用难度，并减少了开发时间。Hive 适用于数据仓库的统计分析，能够执行 ETL、生成分析报告和进行数据分析等任务。
Spark SQL与Hive集成
qq_52137951的博客
05-03 1186
文章目录前言一、Spark SQL与Hive集成(spark-shell)1.第一步2.第二步3.第三步4.启动服务1.启动hadoop各个结点和mysql2.启动hive中的metastore5.测试1.准备数据2.创建数据库3.创建表4.加载数据5.通过spark-shell查看数据6.将数据写入MySQL1.创建数据库2.将spark sql分析hive中的数据写入到mysql中二.Spark SQL 与Hive集成(spark-sql)三、Spark SQL之ThirftServer和beeline
SparkSQL整合Hive
mrye的博客
08-20 334
1，hive连接的MySQL中创建一个普通用户，并且授权 CREATE USER 'spark'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON hivedb.* TO 'spark'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIVILEGES; 2，spark安装目录conf下添加hive-site.xml 配置MySQL表空间，配置第一步创建的用户名和密码 &lt
SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2718
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
SparkSQL和Hive集群整合详解
LBJ_小松鼠的博客
01-18 659
简介: 代码谁都会敲,关键是要逻辑要清楚 1-为什么出现SparkOnHive(SparkSQL)？ 1-本质上SparkOnHive为了解决Hive计算的速度慢的问题 2-现在在工业场景中更多的离线分析都是基于Hive+Spark的整合 2-注意： SparkOnHive仅仅使用了Hive的元数据的信息，其他都是用spark的技术 需要将hive的hive-site.xml拷贝到spark/conf中实现spark知晓hive的元数据信息、 3-步骤： 1-原理：需要整合Hive的元数据的信息，启
sparkSQL sparkSQL整合hive（spark on hive）
a3125504x的博客
09-15 1018
sparkSQL整合hivesparkSQL整合hivesparkSQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景 sparkSQL整合hive sparkSQL整合hive，即spark on hive。本质是把hive当做数据源，使用spark作为计算引擎来处理数据。 sparkSQL整合hive步骤 把hive安装目录下conf文件夹里的hive-site.xml拷贝到集群每一个spark安装目录下对应的conf文件夹中 目的：让spark知道存放hive表的元数据的M
sparkSQL整合hive
周星星
01-07 424
若是开发要用到之前的hive的元数据，而又不想在hive里面编程，可以选择整合spark，在spark中写hive sql 整合步骤： 1.安装MySQL并创建一个普通用户，并且授权 CREATE USER 'hive'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON hivedb.* TO 'hive'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIV...
Spark SQL 与Hive集成
蔡政洁的博客
09-23 1564
目录一、Spark SQL 与Hive集成(spark-shell)（1）添加配置项目（2）启动服务（3）数据测试（4）将数据集写入到MySQL二、Spark SQL 与Hive集成(spark-sql) 一、Spark SQL 与Hive集成(spark-shell) （1）添加配置项目 第一步： 拷贝hive的配置文件hive-site.xml到spark的conf的目录下 cp hive-site.xml /opt/Hadoop/spark/conf 第二步： 添加hive-site.xml中met
SparkSQL与Hive的整合
Aidon博客
12-11 2138
本文包含Spark On Hive、Hive On Spark、SparkSQL命令行、SparkSQL分布式查询的介绍和实践操作.
大数据应用之 --- SparkSQL和 Hive的集成
qq_41187116的博客
07-16 848
大数据应用之 --- SparkSQL和 Hive的集成
spark与hive的集成
weixin_30505225的博客
09-05 901
一：介绍 1.在spark编译时支持hive 　　 2.默认的db 　　当Spark在编译的时候给定了hive的支持参数，但是没有配置和hive的集成，此时默认使用hive自带的元数据管理:Derby数据库。 　　 二：具体集成　 1.将hive的配合文件hive-site.xml添加到spark应用的classpath中（相当于拷贝） 　　 2.第二步集成 　　根据hive的...
SparkSQL：Spark整合Hive
Javis486的专栏
11-19 5868
1.安装Hive Hive的安装，可以参看Hadoop-Hive快速入门，这里再重述 2.拷贝Hive的配置文件 拷贝$HIVE_HOME/conf/hive-site.xml文件到$SPARK_HOME/conf下 3.测试Hive 本地数据测试文件people.txt 1 user01 123456 2 user02 123456 3 use
sparksql和hive集成
大JAVA解决方案
04-07 581
########################################alter database hive character set latin1;ALTER TABLE hive.* DEFAULT CHARACTER SET latin1;########################################1.安装hiveCREATE USER 'hive'@'%' ...
最全最细节的Spark SQL整合Hive
11-24 1599
Spark SQL on HIVE步骤 步骤 1.拷贝Hive conf文件夹中的 hive-site.xml 文件夹到 spark的conf下(配置需要与下面的文件保持一致！) hive-site.xml <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.o
sparksql创建hive分区表
最新发布
06-07
1. **文件格式限制**: Spark SQL 在创建表时不支持某些 Hive 存储处理程序（如 HBase 集成）。如果表有特殊格式要求，先在 Hive 中创建表，然后通过 Spark SQL 查询。如引用[3]所述：“创建表时不支持 Hive 存储处理...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值