爬虫url去重策略

1.将url保存数据库中；

2.将url保存到set中，但是内存占用会越来越大；

3.将url经过MD5等方法哈希后保存到set中；

4.用bitmap方法，将访问的url通过hash函数映射到某一位；

5.bloomfilter方法对bigmap进行改进，多重hash函数降低冲突。