Hadoop硬实战--技术点1--Slurper的使用
已经存在的文件传输机制,如Flume、Scribe和ChuKwa,可以支持日志文件,那么如何传输其他格式的文件,如半结构化和二进制的文件?--使用HDFS File Slurper。使用HDFS File Slurper(HFS)工具进行数据自动化导入导出HDFS中。Slurper可以读取存在于源目录中的任何文件,并选择性的通过一个脚本文件确定文件在目标目录中的位置,然后将文件写入目的地,之后经过...
原创
2018-06-07 23:12:45 ·
512 阅读 ·
0 评论