hadoop 伪分布式安装详细教程(windows下)

本文提供了在Windows环境下安装Hadoop伪分布式模式的详细教程。包括了安装前的准备工作,如安装JDK和Hadoop,配置环境变量,设置SSH免密码登录,以及详细解释了如何配置Hadoop的六个核心配置文件。最后,文章指导了如何初始化Hadoop,启动服务,并通过Web界面检查Hadoop集群的状态。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

安装前需要准备的东西:

1.一台客户机

2.安装虚拟机,并在虚拟机中配置好linux系统

3.下载jdk安装包(我用的jdk版本是jdk-8u201-linux-x64)

4.下载hadoop安装包  (我用的hadoop版本是hadoop-2.7.6)

5.下载SecureCRT(这个不是必需的,它只是一个远程连接服务器软件)

 

接下来让我们步入安装的进程吧:

将JDK及HADOOP安装包在linux中解压,放在名为java和hadoop的文件夹下,具体指令如下:

#jdk-8u201-linux-x64.tar.gz是我下载的jdk版本

tar -zxvf jdk-8u201-linux-x64.tar.gz  
mv jdk-8u201-linux-x64 ./java

#hadoop-2.7.6.tar.gz是我下载的hadoop版本

tar -zxvf hadoop-2.7.6.tar.gz
mv hadoop-2.7.6 hadoop

配置环境变量,具体指令是:

vi /etc/profile
#在profile文件的末尾加上如下代码
#JAVA_HOME
export JAVA_HOME=/home/guohao/java
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

#HADOOP_HOME
export HADOOP_HOME=/home/guohao/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#配置HADOOP_CONF_DIR
export HADOOP_CONF_DIR=/home/guohao/hadoop/etc/hadoop

然后让文件生效:

source /etc/profile

ps:我建议再在~/.bashrc中将上述指令加入进去,因为在我测试过程中会发现,如果不修改.bashrc,会发现在haoop配置好启用后,关闭服务器,再次启动会出现问题,需要重新再source /etc/profile。。。。建议一劳永逸...

接下来配置ssh免密码登录,,,这个需要提前在linux上安装openssh-server,当ssh服务安装好了后,会在home目录下生成一个.ssh文件

然后具体的操作是,cd到.ssh文件夹中执行如下指令:

ssh-keygen -t rsa              # 看见提示,一通回车就行
$ cat id_rsa.pub >> authorized_keys 
$ chmod 600 ./authorized_keys    

然后免密登录就配置好啦,,,可以用ssh localhost指令进行验证

咳咳咳.....这下我们就要步入正题啦,对hadoop中的配置文件进行配置,,,要配置的文件呐,有6个,分别是:

core-site.xml,hadoop-env.sh,hdfs-site.xml,mapred-site.xml.template,slaves,yarn-site.xml

这个是core-site.xml的配置

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Versi
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值