关于Hive(一) Hive和安装Hive

本文介绍Hive作为构建在Hadoop上的数据仓库框架的基本情况,包括其设计目的、核心功能以及如何将SQL查询转换为Hadoop作业。此外,还详细介绍了Hive的安装配置过程,特别针对版本兼容性问题提供了解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hive是构建在Hadoop上的数据仓库框架,通用,可伸缩的数据处理平台

Jeff团队为管理和(机器)学习Facebook的海量网络数据而产生

设计目的:精通SQL但Java编程技能弱的分析师能对存放在HDFS的数据执行查询

Hive把SQL查询转换为一系列在Hadoop集群上运行的作业。数据组织为表,给HDFS的数据赋予结构,元数据存储在metastore中,属于SQL的"方言"


HiveQL:

    > HiveQL大小写不敏感,以;结尾

    > hive -f script.q    执行script.q中的命令

    > hive -e 'select * from dummy'    行内嵌入命令

安装Hive

Hive版本要和Hadoop版本适应,否则即使即使启动了还是会报错如下

 java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Hadoop是使用2.7.4版本,想使用最新的3.0的Hive但是报了上面的metastore错,换成2.1.1和2.2.0还是一样的错,最终使用1.2.2稳定版可行

其他可以尝试但不一定解决问题的方案:https://blog.youkuaiyun.com/hhj724/article/details/79094138


步骤

    > 启动Hadoop

    > 解压 tar -zxvf apache-hive-1.2.2-bin.tar.gz

    > 设置环境变量

        export HIVE_HOME=/usr/local/hive

        export PATH=$PATH:$HIVE_HOME/bin

        source /etc/profile

    > hive命令启动


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值