本文介绍在Hadoop环境中使用两种方法进行文件搜索，包括shell for循环结合hadoop fs命令和awk进行文件列表处理，以及直接使用hadoop fs命令进行搜索。这两种方法都可用于在大量文件中查找符合特定正则表达式的行，并将结果保存到指定文件。
方法1: shell for循环
for file in `hadoop fs -ls file_dir|awk '{print $NF}'`
echo $file
hadoop fs -text $file |grep -5 regular_exp --color >> savefile
done
方法2：直接用hadoop命令
hadoop fs -text file_dir/* | grep regular_exp >> savefile file_dir 指hadoop中的文件目录
-5表示显示匹配行的前后5行
savefile表示保存查找结果的文件
扫一扫
5598
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
