windows上面搭建hadoop环境。

最新推荐文章于 2024-10-31 23:53:54 发布

原创最新推荐文章于 2024-10-31 23:53:54 发布 · 896 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop cygwin #windows 搭建 hadoop环

hadoo 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍如何在Windows环境下安装配置Hadoop单机版，包括安装JDK、Cygwin及配置环境变量，Hadoop的安装与配置步骤，并在Eclipse中安装Hadoop插件以实现MapReduce程序的开发与运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前提准备条件

1:安装JDK 设置jdk环境变量

2:下载和安装cygwin 和设置环境变量

3:下载hadoop 并且解压

4：下载eclipse文件

OK 前提准备条件已经就绪可以开始了。。。。。

1：安装JDK和设置jdk环境变量略过。。。。。。。

2:安装cygwin 有以下几点需要注意的就是在安装的过程当中选中以下项进行安装

然后镜像选中163或者任何一个都可以然后就慢慢等待吧。

安装完成以后配置一下 F:\cygwin\bin;F:\cygwin\usr\sbin 到PATH变量里面去.

2:在cygwin中配置ssh服务

输入命令 ssh-host-config（输入命令会出现下面的注意三项）

配置中关键注意以下三项：

Should privilege separation be used? (yes/no) no
Do you want to install sshd as service? (yes/no) yes

Enter the value of cygwin for the daemon：ntsec

3:启动sshd服务

输入命令：net start sshd

启动失败的情况。

a.如果启动不顺利的话可能会报错具体的报错日志存放在/var/log.sshd.log里面可以打开看看如果是报错 Privilege separation user sshd does not exist

解决办法：cd /etc/passwd里面最下面添加1行 sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin 然后重启就ok

3:安装hadoop 本人用的hadoop是0.20.2版本的本人下载的hadoop-0.20.2.tar.gz格式的文件

a:解压:输入命令 tar xzvf hadoop-0.20.2.tar.gz 然后就会生成一个hadoop-0.20.2的文件夹目录

b:配置hadoop-0.20.0/conf/hadoop-env.sh文件配置JAVA_HOME的路径如下

# The java implementation to use. Required.
export JAVA_HOME=C:\\Java\\jdk1.6.0_16

c:配置conf目录下面的core-site.xml 内容如下

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:8888</value>
</property>

</configuration>

d:配置hdfs-site.xml 内容如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
	<name>dfs.replication</name>
	<value>1</value>       
  </property> 
</configuration>

c:配置mapred-site.xml 内容如下

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>localhost:9999</value>
</property>
</configuration>

4：Eclipse中安装hadoop插件本人下载的eclipse是 eclipse-SDK-3.3.2-win32.zip (不知道别的版本是否兼容hadoop-0.20.2的eclipse插件) 下载路径：

http://www.eclipse.org/downloads/download.php?file=/eclipse/downloads/drops/R-3.3.2-200802211800/eclipse-SDK-3.3.2-win32.zip

点击打开链接

5:把hadoop-0.20.2\contrib\eclipse-plugin拷贝到\eclipse-SDK-3.3.2-win32\eclipse\plugins下面然后启动eclipse

6:windows-首选项->map reduce->找到hadoop的安装路径如下图