Hadoop编程调用HDFS

前言
HDFS 全称Hadoop分步文件系统(Hadoop Distributed File System)，是Hadoop的核心部分之一。要实现MapReduce的分步式算法时，数据必需提前放在HDFS上。因此，对于HDFS的操作就变得非常重要。Hadoop的命令行，提供了一套完整命令接口，就像Linux命令一样方便使用。
不过，有时候我们还需要在程序中直接访问HDFS，我们可以通过API的方式进行HDFS操作。

---

目录

1. 系统环境
2. ls操作
3. rmr操作
4. mkdir操作
5. copyFromLocal操作
6. cat操作
7. copyToLocal操作
8. 创建一个新文件，并写入内容

---

1.系统环境

Hadoop集群环境

Linux Ubuntu 64bit Server 12.04.2 LTS
Java 1.6.0_29
Hadoop 1.1.2
如何搭建Hadoop集群环境?参考文章：Hadoop历史版本安装；

---

开发环境

Win7 64bit
Java 1.6.0_45
Maven 3
Hadoop 1.1.2
Eclipse Juno Service Release 2
如何用Maven搭建Win7的Hadoop开发环境？ 请参考文章：用Maven构建Hadoop项目
注：hadoop-core-1.1.2.jar，已重新编译，已解决了Win远程调用Hadoop的问题，请参考文章：Hadoop历史版本安装

---

Hadooop命令行：java FsShell

~ hadoop fs

Usage: java FsShell
           [-ls ]
           [-lsr ]
           [-du ]
           [-dus ]
           [-count[-q] ]
           [-mv  ]
           [-cp  ]
           [-rm [-skipTrash] ]
           [-rmr [-skipTrash] ]
           [-expunge]
           [-put  ... ]
           [-copyFromLocal  ... ]
           [-moveFromLocal  ... ]
           [-get [-ignoreCrc] [-crc]  ]
           [-getmerge   [addnl]]
           [-cat ]
           [-text ]
           [-copyToLocal [-ignoreCrc] [-crc]  ]
           [-moveToLocal [-crc]  ]
           [-mkdir ]
           [-setrep [-R] [-w]  ]
           [-touchz ]
           [-test -[ezd] ]
           [-stat [format] ]
           [-tail [-f] ]
           [-chmod [-R]  PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R