win7x86下安装使用hadoop2.2

这里采用的是win7下不用cywin的安装方式来做的。算是自己实验过程的一个记录。


安装过程参考了下面文章，主要的配置也是一样的。
http://blog.youkuaiyun.com/jiutianhe/article/details/17709717
win用hadoop插件：这个测试过可以用，其他的有测试不能用。
http://download.youkuaiyun.com/detail/bluex3/6935955
eclipse开发插件：这个测试过可以用，其他的有测试不能用。
http://download.youkuaiyun.com/detail/acm_er6/6964345


eclipse开发插件的配置：
map/reduce(v2)master的host是localhost，端口8088；
dfs master，勾选上面的单选框，host是localhost，端口9000；
端口号分别是8088和9000，这个是在配置hadoop时定义好的；
其他部分都是默认。
-------------------------------------------------------------------
最好先切换到d盘运行，否则可能在c盘建立了数据文件夹；
cd D:\software\hadoop\hadoop-2.2.0 ---这里就是hadoop安装位置
D:\software\hadoop\hadoop-2.2.0\bin\hdfs namenode -format ---只需要第一次的时候初始化，之后就不需要了
D:\software\hadoop\hadoop-2.2.0\bin\hdfs datanode -format ---这个应该是没有什么用。
D:\software\hadoop\hadoop-2.2.0\sbin\start-all ---所有的启动
D:\software\hadoop\hadoop-2.2.0\sbin\stop-all ---所有的停止


//下面的解决namenode启动报错的问题，删除namenode下面的文件
del D:\hadoop\data\dfs\namenode\current
如果datanode节点出现问题，执行下面
del D:\hadoop\data\dfs\datanode\current


关于文件路径，配置文件中的
file:/hadoop/data/dfs/datanode 会对应到 D:\hadoop\data\dfs\datanode


数单词数的路径设置，这个是在运行的程序参数里面输入的。这个实例在hadoop实例代码中有。
hdfs://localhost:9000/test hdfs://localhost:9000/output
test只能有文本文件，不能有其他文件，否则出现不能结果；


dhfs的连接：
这里的端口是core-site.xml里面有一条hdfs:localhost:9000，客户端访问的默认是8020，所以必须要带端口号
in = new URL("hdfs://127.0.0.1:9000/test/test.txt").openStream(); 
这里的url其实和插件打开文件的路径是一样的，这里的ip其实更多的是namenode的ip。


-------------------------------------------------------------------
hbase使用单机模式的Hbaes
配置hbase-site.xml
<configuration>
  <property>  
    <name>hbase.rootdir</name>  
    <value>file:/hadoop/data/hbase</value>  
  </property> 
</configuration>


D:\software\hadoop\hbase-0.96.1.1-hadoop2\bin\start-hbase.cmd


操作hbase的代码实例可以参照这里：
http://blog.youkuaiyun.com/julinfeng/article/details/21078605
-------------------------------------------------------------------
HBase伪分布式安装配置---没有成功
---hbase-0.96.1.1在伪分布式情况下提示：This is not implemented yet. Stay tuned.尚未实现，敬请期待。
http://blog.youkuaiyun.com/zhouyongsdzh/article/details/9322555
(1)编辑{HBASE_HOME}/conf/hbase-env.sh 文件，设置JAVA_HOME和HBASE_CLASSPATH变量
   set JAVA_HOME=D:/Java/jdk1.7.0_45 (自己的JAVA_HOME主目录，即在/下的目录)
   set HBASE_CLASSPATH=D:/software/hadoop/hbase-0.96.1.1-hadoop2 (自己的HADOOP_HOME主目录，即在/下的目录)
(2)编辑{HBASE_HOME}/conf/hbase-site.xml 文件，增加以下内容
<property>
    <name>hbase.rootdir</name>
    <value> hdfs://localhost:9000/hbase</value>  
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
 注：以上表格中标红色的路径一定要跟hadoop中core-site.xml中fs.default.name中的路径相同，否则会出错。


正常启动Hbase了，启动顺序：先启动Hadoop——>再启动Hbase，关闭顺序：先关闭Hbase——>再关闭Hadoop。
启动Hbase的命令，进入到hbase安装主目录的bin目录下
$ ./start-hbase.sh    //启动hbase
$ ./hbase shell        //进入shell模式
$ ./stop-all.sh          //停止hbase
如果在操作Hbase的过程中发生错误，可以通过hbase安装主目录下的logs子目录查看错误原因。


(1)hbase的运行需要用到zookeeper，而hbase-0.90.3自带了zookeeper，所以可以使用hbase自带的zookeeper，在conf/hbase-env.sh 文件中  export HBASE_MANAGES_ZK=true  ，true表示使用hbase自带的zookeeper，如果不想使用其自带的zookeeper，自己下载包安装的化，该项设置为false。 当然如果自己安装zookeeper，启动及关闭先后顺序为：启动Hadoop—>启动ZooKeeper集群—>启动HBase—>停止HBase—>停止ZooKeeper集群—>停止Hadoop。