Bloomfilter 持久化问题

最新推荐文章于 2023-04-20 16:07:43 发布

iteye_15100

最新推荐文章于 2023-04-20 16:07:43 发布

阅读量909

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java

本文链接：https://blog.youkuaiyun.com/iteye_15100/article/details/82619293

本文详细介绍了如何利用BloomFilter技术优化HDFS文件夹中文件内容的存储和检索过程，通过将文件内容写入BloomFilter并进行持久化处理，实现了高效的数据管理和查询。特别关注了FSDataOutputStream的正确使用方式，确保了数据的正确写入、刷新和关闭，避免了常见的错误原因，如文件大小始终为0.0b。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：使用org.apache.hadoop.util.bloom.BloomFilter，将Hdfs文件夹中的所有文件内容添加到BloomFilter，然后将其持久化到Hdfs。
直接从主函数运行正常
从web程序调用，发现文件总是0.0b

错误原因：
FSDataOutputStream输出流未flush，未close

正确代码：
public static boolean bloomFilterInit(Configuration config, int numbers,
String fromuri, String touri) throws IOException {
boolean isInit = false;
int vectorSize = HashUtil.getOptimalBloomFilterSize(numbers,
HashUtil.FALSEPOSRATE);
int hashCount = HashUtil.getOptimalK(numbers, vectorSize);
FileSystem fileSystem = FileSystem.get(config);
BloomFilter bf = readHdfsToBloom2(vectorSize, hashCount, fileSystem,
fromuri);
if (bf != null) {
FSDataOutputStream strm = fileSystem.create(new Path(touri));
bf.write(strm);
strm.flush();
strm.close();
isInit = true;
}
bf = null;
return isInit;
}