flink批处理-过滤文件名

最新推荐文章于 2025-02-01 15:58:40 发布

原创最新推荐文章于 2025-02-01 15:58:40 发布 · 456 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flink

博客围绕Flink展开，虽未给出具体内容，但Flink是大数据开发领域的重要技术，常用于流处理和批处理等场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

        String fileNameTag=".csv";
        TextInputFormat format = new TextInputFormat(new Path(filePath));
	Configuration configuration = new Configuration();
	configuration.setBoolean("recursive.file.enumeration", true); 
	// 设置递归获取文件
	format.configure(configuration);
	format.setFilesFilter(new FilePathFilter() {
		@Override
		public boolean filterPath(Path filePath) {
                //调用默认过滤器会过滤".", "_", "_COPYING_"三种开头的文件，一般为临时文件,没有完成写入的文件,再加上自定的过滤条件即可
		return FilePathFilter.createDefaultFilter().filterPath(filePath)
||!filePath.getPath().contains(fileNameTag);

		}
	});