本文介绍了HDFS File Slurper（HFS）工具，用于数据自动化导入导出HDFS。内容包括Slurper的特点、安装设置、动态目标路径设置、压缩验证选项以及如何实现连续操作。Slurper适用于传输半结构化和二进制文件，尤其在MapReduce无法直接访问文件系统时，是将本地数据导入到HDFS的有效工具。
已经存在的文件传输机制，如Flume、Scribe和ChuKwa，可以支持日志文件，那么如何传输其他格式的文件，如半结构化和二进制的文件？--使用HDFS File Slurper。
使用HDFS File Slurper（HFS）工具进行数据自动化导入导出HDFS中。Slurper可以读取存在于源目录中的任何文件，并选择性的通过一个脚本文件确定文件在目标目录中的位置，然后将文件写入目的地，之后经过一个验证，最后完成复制。原理图如下：
Slurper的特点：
1、 不能并行的写入部分文件，文件必须原子的导入。
2、 可以写入点号开头的文件名，点号会被Slurper忽略。
3、 Slurper可以保证被复制的文件的全局唯一性，如果被复制的文件不存在全局唯一性，那么Slurper会在HDFS中覆盖这个文件。
一、安装及设置
也可以使用下载我上传的release 1.7版。直接tar即可。
https://download.youkuaiyun.com/download/mp412c/10465935
设置1：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
