（五）hadoop路径读取文件的通配符

最新推荐文章于 2022-04-02 18:27:08 发布

TimliangL

最新推荐文章于 2022-04-02 18:27:08 发布

阅读量4.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop 通配符读取

本文链接：https://blog.youkuaiyun.com/TimliangL/article/details/78200165

hadoop 专栏收录该内容

9 篇文章

订阅专栏

本文详细介绍了HDFS中通配符的使用方法及其代表的不同含义，并通过示例代码展示了如何利用PathFilter接口实现更精细的文件过滤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、通配符

通配符	注解
*	代表0到多个字符
?	代表单一字符
[ ab ]	代表字符类型，匹配{a,b}中的一个字符
[ ^ab ]	代表不是｛a,b｝中的一个字符
[ a-b ]	代表匹配一个a到b之间的字符包括ab，ASCII代码在a-b之间的
[ ^a-b]	代表不在a到b之间的字符包括ab
{a,b}	代表匹配a或b的一个语句
\c	代表转义字符匹配原字符c

Demo

public class myHdfsGlobe {

    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(configuration);
        FileStatus[] fileStatus = fileSystem.globStatus(new Path("/hello[0-9]"));
        System.out.println(1);
        for (FileStatus fileStatus1 : fileStatus) {
            System.out.println("文件路径：" + fileStatus1.getPath());
            System.out.println("块的大小：" + fileStatus1.getBlockSize());
            System.out.println("文件所有者：" + fileStatus1.getOwner() + ":" + fileStatus1.getGroup());
            System.out.println("文件权限：" + fileStatus1.getPermission());
            System.out.println("文件长度：" + fileStatus1.getLen());
            System.out.println("备份数：" + fileStatus1.getReplication());
            System.out.println("修改时间：" + fileStatus1.getModificationTime());
        }
    }

}

二、PathFilter过滤
通配格式不是总能够精确地描述我们想要访问的文件集合。比如，使用通配格式排除一个特定的文件就不太可能。FileSystem中的listStatus()和globStatus()方法提供了可选的PathFilter对象，使我们能够通过编程方式控制匹配：

package org.apache.hadoop.fs;  

public interface PathFilter {  
   boolean accept(Path path); 
}

PathFilter与java.io.FileFilter一样，是Path对象而不是File对象。
展示了一个PathFilter，用于排除匹配一个正则表达式的路径：

public class RegexExcludePathFilter implements PathFilter {  

  private final String regex;  

  public RegexExcludePathFilter(String regex) {  
    this.regex = regex;  
  }  

  public boolean accept(Path path) {  
    return !path.toString().matches(regex);  
  }  
}

这个过滤器只留下与正则表达式不同的文件。我们将它与预先剔除一些文件集合的通配配合：过滤器用来优化结果。例如：

fs.globStatus( new Path("/2007/*/*"),   
               new RegexExcludeFilter("^.*/2007/12/31$")
)