hadoop-2.7.3+hive-2.3.4+sqoop-1.4.7
一、hadoop-2.7.3完全分布式环境搭建
hadoop-2.7.3下载.提取:qcqd
为了方便和统一开发环境,一些基础配置如修改主机名和用户名,hosts的ip和主机名映射,配置SSH无密码连接,jdk安装和系统环境变量配置,可参考上一篇文章:
腾讯云服务器搭建hadoop-2.6.0-cdh5.6.0完全分布式环境
1、hadoop系统环境变量配置
root用户执行,所有节点都执行
[root@master ~]# vi /etc/profile
#添加
export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
[root@master ~]# source /etc/profile
2、hadoop配置(/opt/hadoop-2.7.3/etc/hadoop)
在主节点master配置好后,再copy到各从节点slave
(1)hadoop-env.sh(记录hadoop要用的环境变量)
#添加
export HADOOP_HOME=/opt/hadoop-2.7.3
export JAVA_HOME=/opt/jdk1.8.0_40
(2)core-site.xml
<!--配置HDFS的NameNode-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!--配置DataNode保存数据的位置-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.3/tmp</value>
</property>
(3)hdfs-site.xml
<configuration>
<!--配置HDFS的冗余度-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<