在HDFS上存在大量归档压缩日志文件，通过结合使用hadoop fs、grep、awk和xargs，可以实现对这些文件并行执行grep操作。举例说明，通过10个进程查找2016年1月11日19点至20点间含有'abcdefg'的日志记录。该方法避免了编写MapReduce程序的繁琐，提高了查询效率。
HDFS上存了大量归档压缩的日志文件，偶尔需要到上面查询一些信息。
hadoop fs虽然可以执行ls，cat等操作，但是却不能直接执行grep操作。写个map reduce程序再执行，虽然可行，却感觉有点麻烦，没有直接使用shell命令方便灵活。经过查询和尝试，终于找到了方法。
举个例子，启用10个进程，查询在2016年1月11日19点和20点之间的所有包含abcdefg的日志记录：
hadoop fs -ls /path-to-log-dir/ | \
grep '2016011119' | awk '{print $8}' | \
xargs -n 1 -I {} -P 10 bash -c 
最低0.47元/天 解锁文章
扫一扫
906
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
