Flume-ng-1.3.0 spooling source的方式增加了对目录的递归检测的支持

最新推荐文章于 2024-08-06 09:20:05 发布

原创最新推荐文章于 2024-08-06 09:20:05 发布 · 5.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Flume #spooling

hadoop(ZK&MRv1&hdfs) 同时被 2 个专栏收录

31 篇文章

订阅专栏

大数据

30 篇文章

订阅专栏

针对Flume-ng-1.3.0的spooling source，原功能仅支持一级目录文件变动检测。已通过修改源码实现对目录的递归检测，能跟踪多级目录下的文件变化。主要更新包括在`SpoolingFileLineReader`类中添加`listDirFiles`方法进行递归列举文件，并在`getNextFile`方法中使用新方法获取所有候选文件。

原有的spooling source的方式只支持一级目录的文件变动的检测，修改了一下源码支持对目录的递归检测，可以支持多级目录下的文件变动

SpoolingFileLineReader类增加以下下方法

/**
* add by yangbutao
*
* @param files
* @param dir
* @param filter
*/
private void listDirFiles(List<File> files, File dir, FileFilter filter) {
  File[] childs = dir.listFiles(filter);// 列出目录下所有的文件
  for (int i = 0; i < childs.length; i++) {
   if (childs[i].isFile()) {
    files.add(childs[i]);
   } else {
    if (childs[i].isDirectory()) {
     listDirFiles(files, childs[i], filter);// 如果是个目录,就继续递归列出其下面的文件.
    }
   }
  }
}

修改getNextFile方法

private Optional<FileInfo> getNextFile() {
  /* Filter to exclude finished or hidden files */
  FileFilter filter = new FileFilter() {
   public boolean accept(File pathName) {
    if ((pathName.getName().endsWith(completedSuffix))
      || (pathName.getName().startsWith("."))) {
     return false;
    }
    return true;
   }
  };
// List<File> candidateFiles =Arrays.asList(directory.listFiles(filter));//注释掉原有的
  List<File> candidateFiles = new ArrayList<File>();//新增的
  listDirFiles(candidateFiles, directory, filter);//新增的