本篇介绍hive的安装、配置、测试等内容希望对大家有所收获
什么是hive
hive是建立在hadoop上的,hadoop中的mapreduce调用如果面向DBA的时候,因为不是每个DBA都能明白mapreduce的工作原理,所以此时处于一种很尴尬的场景,毕竟精力有限,再学习mapreduce有点得不偿失。
hive正是实现了这个,hive是要类SQL语句(HiveQL)来实现对hadoop下的数据管理。hive属于数据仓库的范畴,数据库侧重于OLTP(在线事务处理),数据仓库侧重OLAP(在线分析处理);也就是说,例如mysql类的数据库更侧重于短时间内的数据处理,反之。
无hive:使用者.....->mapreduce...->hadoop数据(可能需要会mapreduce)
有hive:使用者...->HQL(SQL)->hive...->mapreduce...->hadoop数据(只需要会SQL语句)
应该明白hive的定位了吧,至于技术的发展图,用下面的一张图来替代下吧 (手绘版)
正文(hive安装和配置)
安装
1.hive下载——地址:http://mirror.bit.edu.cn/apache/hive/
下载速度还算 可以,以安装 hive-3.1.1为例
2.将hive上传到服务器,解压到/usr/local下:
tar -zxvf apache-hive-3.1.1-bin.tar.gz -C /usr/local/
3.将文件重命名为hive文件:
mv apache-hive-3.1.1-bin hive
4.修改环境变量/etc/profile:
vi /etc/profile
在最底端追加,如下 配置
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
执行(否则不会 立即生效)
source /etc/profile
5.验证是否安装成功
hive --version
本应该成功的结果报错如下
Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path
hadoop路径配置问:修改 conf/hive-env.sh 中Hadoop的路径设置
之后 再 执行,ok 成功
配置