Hadoop基础

Hadoop：HDFS 实现数据存储，MapReduce实现数据分析处理（Java分布式处理框架）。

---

Hadoop文件系统有很多，而HDFS是其中的一种实现。
HDFS(Hadoop Distributed File System) : Hadoop 分布式文件系统

特点：

• 超大文件（普通数据库处理数据集大小在GB级别，Hadoop处理的数据集大小在PB级别）
• 流式访问（一次写入，多次读取）
• 商用硬件

概念：

• 数据块：（默认64M。Hadoop块大，降低块索引时间，使得传输文件的时间主要决定于磁盘的传输速率；但不宜过大， 一次Map任务处理一个数据块，若少于整个集群中节点数量，效率降低）

文件所在的全路径主要配置文件core-site.xml:

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

基本命令（版本2.7.1）
hadoop fs -help
列举当前目录下的文件
hadoop fs -ls /
删除目录及文件
hadoop fs -rm -r /test
上传文件
hadoop fs -put a.txt /swh
hadoop fs -copyFromLocal a.txt /swh
删除文件
hadoop fs -rm /swh/a.txt
下载文件
hadoop fs -copyToLocal /swh/a.txt a
hadoop fs -get /swh/a.txt a