cygwin安装及hadoop启动

本文详细介绍了在Windows系统中使用Cygwin和SSH搭建Hadoop集群的过程,包括安装Cygwin、配置SSHD服务、解决权限分离错误、生成SSH密钥、启动Hadoop并验证集群正常运行的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参考文献:[url]http://wenku.baidu.com/view/6af47921af45b307e8719799.html[/url]
具体下载安装cygwin参考上文;
sshd的安装过程及所遇问题:
window窗口全部以管理员身份运行,
安装sshd步骤,见图:
[img]http://dl.iteye.com/upload/attachment/0077/7726/53e307b4-1165-354e-a195-3ea903fd8343.jpg[/img]

安装完sshd后在服务里启动,会报一个错,查看cygwin/var/log目录下sshd.log文件,提示
“Privilege separation user sshd does not exist”,这时需要修改cygwin/etc/passwd文件,最后加一句
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

安装ssh_keygen,见图:
[img]http://dl.iteye.com/upload/attachment/0077/7728/f2fe6bee-7570-334d-9013-38e863c3c671.jpg[/img]
其中会报路径不存在,这时需要改成window目录;

启动hadoop,进去hadoop bin目录:
首先格式化一个全新的HDFS系统
./hadoop namenode -format
./start-all.sh

输入http://localhost:50070查看namenode
http://localhost:50030查看jobtracker

或运行jps命令,如图jobtracker和namenode都显示说明正常:
[img]http://dl.iteye.com/upload/attachment/0077/7841/c9890e7e-32b3-3168-9d21-c1909d1d32a6.jpg[/img]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值