Akari0216的博客

安装好hadoop3之后就需要安装hive了。在安装之前，需要了解清楚准备步骤和版本对应问题。在安装hive之前需要先安装mysql或者mariadb，两者之间的区别及共性在此不做赘述。关于版本对应问题，需要了解的是不同的hadoop版本所配置的hive,hbase等工具的版本是不同的，hive版本对应可以参考Hive:http://hive.apache.org/downloads.html，hbase版本对应可以参考这里HBase:http://hbase.apache.org/book.html#

在VMWare上面配置好了hadoop3之后，当然是先试跑一下案例。然而在master上面运行wordcount的时候却出现了卡在map 0% reduce 0%的情况，搜索了这个问题的相关解决方案，基本是修改yarn-site.xml的配置，如1.增大cpu数，yarn.nodemanager.resource.cpu-vcores2.增大每个节点可用内存，yarn.scheduler.maximum-allocation-mb3.调整虚拟内存值，yarn.nodemanager.vmem-pme

本文主要思路参考了https://blog.youkuaiyun.com/u013457387/article/details/87856770的方法，但个人在配置过程中遇到过很多的问题，最终配置成功并在此总结。本伪分布式是在vmware上建立的，centos版本为7.7，java版本是自带的openjdk1.8.0，hadoop版本为3.2.1安装流程：#mermaid-svg-QbFCrEphc902crsn .label { font-family: 'trebuchet ms', verdan