布隆过滤器序列化与反序列化

最新推荐文章于 2025-07-30 11:18:28 发布

原创最新推荐文章于 2025-07-30 11:18:28 发布 · 3.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #布隆过滤器序列化

爬虫专栏收录该内容

5 篇文章

订阅专栏

本文介绍了如何使用布隆过滤器进行爬虫URL去重，并通过实现序列化接口来确保布隆过滤器在系统重启后仍能保持其状态。通过Java代码展示了布隆过滤器及内部类的实现，以及序列化和反序列化的方法，将序列化的结果保存在.bat文件中。

我的爬虫url去重采用布隆过滤器。但是考虑到系统停止再次运行后，会丢失布隆过滤器的信息，于是为了让布隆过滤器对象记住原来的值，所以必须对其进行序列化与反序列化。这样才能够保证系统的正常运行。对某个对象进行序列化与反序列化需要让对象所属的类实现序列化接口。我由于采用的布隆过滤器是采用最简单的那种，但由于这个布隆过滤器里面有内部类，所以对该布隆过滤器类和其内部类都要实现序列化接口，千万不能忘了内部类也要实现该接口。

下面开始上java代码：

public class BloomFilter implements java.io.Serializable {

private final int DEFAULT_SIZE = 2 << 24;
private final int[] seeds = new int[] { 5, 7, 11, 13, 31, 37, 61 };
private BitSet bits = new BitSet(DEFAULT_SIZE);
private SimpleHash[] func = new SimpleHash[seeds.length];
public BloomFilter() {
  for (int i = 0; i < seeds.length; i++) {
   func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);
  }
}

public void add(String value) {
  for (SimpleHash f : func) {
   bits.set(f.hash(value), true);
  }
}

public boolean contains(String value) {
  if (value == null) {
   return false;
  }
  boolean ret = true;
  for (SimpleHash f : func) {
   ret = ret && bits.get(f.hash(value));
  }
  return ret;
}

// 内部类，simpleHash
public static class SimpleHash implements java.io.Serializable {
private int cap;
private int seed;

  public SimpleHash(int cap, int seed) {
   this.cap = cap;
   this.seed = seed;
  }

  public int hash(String value) {
   int result = 0;
   int len = value.length();
   for (int i = 0; i < len; i++) {
    result = seed * result + value.charAt(i);
   }
   return (cap - 1) & result;
  }
}

}

至于序列话与反序列化网上有很多，但都没说保存在什么类型的文件中，但我保存的是.bat文件中，目前一切运行正常。