Hadoop初探系列（一）Windows下Hadoop环境搭建

在Windows下搭建Hadoop的学习环境最简单的方式是通过Cygwin模拟Linux环境，包含三大部分内容：安装、配置Cygwin，安装、配置Hadoop，配置eclipse。

系统&软件版本

系统：win7（64位）
Hadoop：1.2.1
Java：jdk1.7（64位）
Cygwin：2.852（64位）

安装&配置Cygwin

1. 下载Cygwin
   

   Cygwin官方地址：http://cygwin.com，64位的安装文件下载链接为http://cygwin.com/setup-x86_64.exe，下载的是一个软件包下载和安装工具，安装和更新Cygwin下的软件都可以通过这个工具完成。
2. 安装Cygwin
   • 双击setup-x86_64.ext文件运行安装向导
     
     

     

   • 点击【下一步】按钮进入引导安装界面，选择“install from internet”
     
     

     

   • 点击【下一步】选择cygwin的安装目录
     
     

     

   • 点击【下一步】选择软件包下载目录
     
     

     

   • 点击【下一步】选择网络连接方式
     
     

     

   • 点击【下一步】将会列出所有可用的软件包下载镜像地址，我选择的是国内的163
     
     

     

   • 点击【下一步】安装程序会连接镜像站点
     
     

     

   • 镜像站点成功链接后将会弹出软件包选择窗口，在容器中选择要安装的软件包
     
     

     

   • 点击【下一步】安装程序会列出所选软件包依赖的软件包，全选即可
     
     

     

   • 点击【下一步】进入软件包下载和安装界面，这一步需要的时间比较长，请耐心等待
     
     

     

   • 下载和安装完成后将弹出以下界面，点击【完成】即完成了Cygwin的安装
     
     

     

     
     
3. 配置Cygwiin
   Cygwin的配置主要是配置ssh无密码登录，为Hadoop运行做好准备。
   • 安装ssh服务
     通过ssh-host-config命令可以在Cygwin下安装ssh服务，安装过程按下图进行选择：
     

     
     

   • 启动ssh服务器
     根据上一步的提示，可以通过“cygrunsrc”或“net start sshd”来启动ssh服务，如果命令运行后没有错误提示，表示ssh服务安装成功。
   • 配置无密码登录
     1）通过ssh-keygen -t rsa生成公钥/私钥对，如下图：
     

     

     
     2）将公钥加入到authorized_keys
     cd ~/.ssh
     cp id_rsa.pub > authorized_keys，如果authorized_keys已经存在命令改为“cp id_rsa.pub >> authorized_keys”，如果不存在还需要执行命令
     chmod 600 authorized_keys。
     

   • 验证无密码登录
     ssh localhost，第一次运行ssh命令时可能会提示输入密码，这时直接按回车，如果不提示验证失败表明无密码登录配置成功。这时运行exit命令会有退出的提示，再次运行ssh localhost就不提示输入密码了。
     

安装&配置Hadoop

配置eclipse

遇到问题

参考资料