伪分布式hadoop的配置

配置JDK
在终端里输入java
选择这个apt install openjdk-8-jre-headless。
输入命令等待下载完成。
然后配置profile文件—环境变量
输入命令vim /etc/profile
添加下面内容

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_181
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

然后输入java -version 命令
如果有输出在输入jps然后按照提示安装

一. 伪分布式hadoop的配置(前提是配置了jdk)
1.首先要修改hadoop-env.sh 中的信息。
使用命令vim ./etc/hadoop/hadoop-env.sh
在里面添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

这是是你的JAVA环境变量如果你不知道的话可以使用这个命令来查看echo $JAVA_HOME
当然如果你没有配置的话这个命令是查看不到任何东西的可以参考这个链接来寻找jdk安装地址jdk
-------配置JDK在etc/profile

exprot JAVA_HOME=/home/hadoop/programfiles/jdk1.7.0_55
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

2: 修改:vim core-site.xml

<configuration> 
		<property>
				<name>fs.defaultFS</name> 
				<value>hdfs://192.168.0.109:9000</value> 
		</property>
 </configuration>

3: 修改:vim hdfs-site.xml

<configuration> 
		<property>
				<name>dfs.replication</name>
				 <value>1</value> 
		</property> 
</configuration> 

4: 进入 hadoop-3.1.4/sbin 目录:
修改 start-dfs.sh 和 stop-dfs.sh

HDFS_DATANODE_USER=root 
HDFS_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 

5: 修改 root 用户的 ssh 权限:

 apt-get install openssh-server 
 vim /etc/ssh/sshd_config 

添加 PermitRootLogin yes 保存退出
6: 进入/hadoop-3.1.4/bin 目录格式化./hdfs namenode -format

7: 进入/hadoop-3.1.4/sbin 目录启动 hdfs:
./start-dfs.sh
8: 用 jps 命令进行查看

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值