abeautifulboy的专栏

[align=center][color=red][size=large]关于爬虫的一点想法（一）[/size][/color][/align] 小弟毕业后参加工作的过程中在iteye汲取了很多营养，一直想写点什么回报这种无私共享的精神，之前策划了一篇文章《论工作的那些事》由于比较长，还需等一段时间....

基于storm的爬虫设计方案构想   这是一个令人振奋的构想   最近在弄storm，之前又弄过爬虫，所以把两者结合起来我觉得还挺有意思的。我们知道爬虫是从网络上获取数据经过一些处理保存到本地，作为自己的业务数据等。所以其从输入到输出其实就是一个数据流不断的流经系统。storm作为实时流处理的利器，其使我们非常方便的对系统各部件的并发进行rebalance，所以如果将其用在自己的爬虫中我...