环境布置的步骤建议是jdk, hadoop hive这几个分别去下载,参考以下几个安装教程:
【主要参考:傻瓜式教程】Windows下安装Hive MySQL版【附安装Hadoop教程】全网最详细的图文教程
【有一些补充的内容】:Windows下安装Hive
遇到的几个问题
(一) 端口50070能够打开,但是端口8088打不开,显示拒绝连接
网上有很多种解决办法,有些是跟yarn.site文件有关系,防火墙之类的,这里我自己是可能是安装的jdk版本不适合,我安装了一个适合的版本后解决了
(二)hive --service metastore格式化有问题,显示报错,且后续的步骤无法推进
这里解决的方法是用管理员身份打开CMD,并且打开前先启动hdfs,比如这样
(三)启动成功后,运行hive.cmd多次无法启动hive,
解决方案:先启动dfs,参考(二),且dfs启动后保持窗口开启,关闭后则会失败,启动成功后如下
这里就可以输入hive sql了,我用的是cmd打开,sql语句结尾需要加上;当作语句的结尾执行
hadoop 安装后 yarn runtime exception错误
YarnRuntimeException: Permissions incorrectly set for dir D:/hadoop/hadoop-3.3.5/data/tmp/nm-local-dir/nmPrivate, should be rwx------, actual value = rwxrwx--
包括
YarnRuntimeException: Permissions incorrectly set for dir /tmp/hadoop-LeiHanhan/nm-local-dir/filecache, should be rwxr-xr-x, actual value = rwxrwxr-x
的情况
不用改权限,直接换成管理者模式运行cmd
hive和Hadoop一开始是根据别人的教程下载的,但是有些文件过期,担心hadoop 和hive的版本不适配,所以参考了这篇hive与hadoop的版本对应问题