cuibin1991的专栏

Hadoop是什么Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算. Hadoop框架中最核心设计就是：HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。Hadoop优点Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Ha...

环境准备JDK环境1.下载JDK Linux版本这里需要确认jdk版本是否与hadoop版本适配。我这里选择的是hadoop-3.2.0，只支持JDK7与JDK8，不要采用JDK9，会出现问题。2.查看是否有默认安装的 Open JDK以 root 用户登录：输入 java -vesion。如果有安装，就需要卸载。查看：rpm -qa | grep jdk卸载：rpm -e ...

我用已经搭建好的Hadoop集群做命令的展示，首先要在hadoop路径下的bin目录下进行查看Hadoop文件./hadoop fs -ls /Found 3 itemsdrwxr-xr-x - hadoop supergroup 0 2019-04-18 16:41 /hbase001drwxrwx--- - hadoop supergroup ...

首先需要修改配置文件，修改yarn-site.xml，配置如下：<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </propert...