网页蜘蛛的多 url 问题

情况如下：

程序开始，发一个http请求，从回复的页面中将抽取得多个 url （例如10条），之后使用这些url再发请求，从10个回复的页面中抽取url（例如共100个），如此类推，内存中保存的url 不是将很大很大？！！！

 

解决办法：

一。转存到磁盘

当等待的url个数太多，把部分url写到文件中，当前内存只保留部分url，处理完这部分url马上释放内存，再读入保存在磁盘中的url到内存中。