大数据学习之spark3

本文介绍了如何使用SparkSQL访问Hive,包括在conf配置hive-site.xml以设置元数据信息,如连接URL、驱动名、用户名和密码。在配置后,通过重启Spark,可以使用spark-shell和spark-sql命令行工具访问Hive数据。当遇到驱动包缺失问题时,可以通过--jars选项添加JAR包。此外,文章还提到了thriftServer和beeLine两种连接方式,其中thriftServer推荐用于减少资源申请次数,beeLine则作为客户端连接工具。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

使用sparkSq来访问hive:

sparkSql是建立在hive之上的,使用sparksql来访问hive需要在conf文件夹下配置hive-site.xml文件,该文件配置了hive中metastore相关的原数据信息

<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://localhost:3306/sparksql?createDatabaseIfNotExist=true</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>lc</value>
        <

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值