hadoop-2.7.3+hive-2.3.4+sqoop-1.4.7

hadoop-2.7.3+hive-2.3.4+sqoop-1.4.7

一、hadoop-2.7.3完全分布式环境搭建

hadoop-2.7.3下载.提取:qcqd
为了方便和统一开发环境,一些基础配置如修改主机名和用户名,hosts的ip和主机名映射,配置SSH无密码连接,jdk安装和系统环境变量配置,可参考上一篇文章:
腾讯云服务器搭建hadoop-2.6.0-cdh5.6.0完全分布式环境

1、hadoop系统环境变量配置

root用户执行,所有节点都执行

[root@master ~]# vi /etc/profile

#添加
export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

[root@master ~]# source /etc/profile

2、hadoop配置(/opt/hadoop-2.7.3/etc/hadoop)

在主节点master配置好后,再copy到各从节点slave

(1)hadoop-env.sh(记录hadoop要用的环境变量)

#添加
export HADOOP_HOME=/opt/hadoop-2.7.3
export JAVA_HOME=/opt/jdk1.8.0_40

(2)core-site.xml

<!--配置HDFS的NameNode-->
	<property>
			 <name>fs.defaultFS</name>
			 <value>hdfs://master:9000</value>
	</property>

<!--配置DataNode保存数据的位置-->
	<property>
			 <name>hadoop.tmp.dir</name>
			 <value>/opt/hadoop-2.7.3/tmp</value>
	</property>		

(3)hdfs-site.xml

 <configuration>
        <!--配置HDFS的冗余度-->
		<property>
			  <name>dfs.replication</name>
			  <value>1</value>
		</property>

	    <
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值