本文分享了一个使用Python开发的Spider项目的初期经验，旨在提高团队的工作效率。作者探讨了爬虫开发中遇到的问题，如不同网站之间的适应性和视频内容的处理等，并提到了Google的爬虫也采用了Python。
今天接到一个任务,实现一个Spider,来方便团队的资讯和内容编辑人员,提高团队的开发效率.说实话,这个东西经常看见别人提起,但是实际动手发现一个问题是,简单的功能好做但是普遍的适应性就很差:比如可以在Sina体育版的新闻实现我的需求可是在时政版就不行-_-!
还有一些专题带了Video的,这个就得做一大堆的条件预判断,OMG,网易和Sohu偶还没有考虑呢!
不过我也发现Google的爬虫也是Python的，呵呵,貌似做的好的爬虫至少需要考虑
1.频繁的小文件读取
2.网站的普遍适应性(采集的命中率)
3.高可靠性
暂时就这么多了,经过昨天12小时的coding大概除了一个单页面的alpha版本,效率还有待提高啊:)
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
