20、Hadoop数据移动的实用技术

Hadoop数据移动的实用技术

1. WebHDFS与HttpFS的差异

WebHDFS和HttpFS的主要区别在于客户端对所有数据节点的可访问性。如果客户端能够访问所有数据节点，那么WebHDFS是合适的选择，因为读写文件时客户端会直接与数据节点进行数据传输。相反，如果客户端位于防火墙之后，可能无法访问所有数据节点，这时HttpFS更为适用。使用HttpFS时，服务器会与数据节点通信，而客户端只需与单个HttpFS服务器通信。

如果可以选择，建议优先使用WebHDFS。因为客户端直接与数据节点通信具有内在优势，它能让你轻松扩展跨多个主机的并发客户端数量，而不会因所有数据都通过HttpFS服务器传输而导致网络瓶颈。特别是当客户端在数据节点上运行时，WebHDFS可以直接从本地文件系统流式传输本地托管的HDFS数据块，而无需通过网络，充分利用数据局部性优势。

2. 使用NFS挂载Hadoop

有时候，将Hadoop数据作为常规挂载点挂载到文件系统中，会让操作更加便捷。这样就可以使用现有的脚本、工具和编程语言与HDFS中的数据进行交互。下面介绍如何使用NFS挂载轻松地将数据复制到HDFS中或从HDFS中复制出来。

2.1 问题

希望将HDFS视为常规的Linux文件系统，并使用标准的Linux工具与HDFS进行交互。

2.2 解决方案

使用Hadoop的NFS实现来访问HDFS中的数据。

2.3 操作步骤

在Hadoop 2.1之前，唯一通过NFS挂载HDFS的方法是使用FUSE。但由于存在各种性能和可靠性问题，不建议普遍使用。而