cygwin安装及hadoop启动

最新推荐文章于 2017-05-17 16:25:28 发布

iteye_8053

最新推荐文章于 2017-05-17 16:25:28 发布

阅读量146

点赞数

CC 4.0 BY-SA版权

分类专栏： Java综合项目管理文章标签： hadoop cygwin

本文链接：https://blog.youkuaiyun.com/iteye_8053/article/details/82448495

Java综合同时被 2 个专栏收录

13 篇文章

订阅专栏

项目管理

6 篇文章

订阅专栏

本文详细介绍了在Windows系统中使用Cygwin和SSH搭建Hadoop集群的过程，包括安装Cygwin、配置SSHD服务、解决权限分离错误、生成SSH密钥、启动Hadoop并验证集群正常运行的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考文献：[url]http://wenku.baidu.com/view/6af47921af45b307e8719799.html[/url]
具体下载安装cygwin参考上文；
sshd的安装过程及所遇问题：
window窗口全部以管理员身份运行，
安装sshd步骤，见图：
[img]http://dl.iteye.com/upload/attachment/0077/7726/53e307b4-1165-354e-a195-3ea903fd8343.jpg[/img]

安装完sshd后在服务里启动，会报一个错，查看cygwin/var/log目录下sshd.log文件，提示
“Privilege separation user sshd does not exist”，这时需要修改cygwin/etc/passwd文件，最后加一句
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

安装ssh_keygen，见图：
[img]http://dl.iteye.com/upload/attachment/0077/7728/f2fe6bee-7570-334d-9013-38e863c3c671.jpg[/img]
其中会报路径不存在，这时需要改成window目录；

启动hadoop，进去hadoop bin目录:
首先格式化一个全新的HDFS系统
./hadoop namenode -format
./start-all.sh

输入http://localhost:50070查看namenode
http://localhost:50030查看jobtracker

或运行jps命令，如图jobtracker和namenode都显示说明正常：
[img]http://dl.iteye.com/upload/attachment/0077/7841/c9890e7e-32b3-3168-9d21-c1909d1d32a6.jpg[/img]