windows下配置hadoop集群

最新推荐文章于 2024-08-12 03:18:09 发布

out345

最新推荐文章于 2024-08-12 03:18:09 发布

阅读量165

点赞数

分类专栏：搜索引擎文章标签： Windows Hadoop SSH Eclipse C

搜索引擎专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何在Windows环境下配置Hadoop单机模式，包括安装所需软件如Java和Eclipse等，配置SSH无密码登录，以及修改hadoop-site.xml文件来指定Hadoop的工作参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境要求：
* Java 1.6
* Eclipse Europa 3.3.2
1 安装cygwin 选包的时候选上openssh
2 设置环境变量path c:\cygwin\bin;c:\cygwin\usr\bin
3 配置ssh 输入 ssh-host-config 然后按照提示输入no yes ntsec
4 启动windows的服务中的 CYGWIN sshd
5 使用ssh-keygen 设置访问无密码操作
cat id_rsa.pub >> authorized_keys
6 下载hadoop hadoop-site文件中增加

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9100</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9101</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

7 mkdir logs
bin/hadoop namenode -format

http://ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html