本文分享了一款用于检测网站所有页面是否包含特定内容的爬虫程序开发经验。通过使用多线程、定义接口、合理记录日志及配置参数等方式提高了程序效率与可维护性。
刚刚做了涉及爬行网站的程序，其功能是检测站点内所有页面是否包含指定的内容。看看界面先
写这个程序加深了一点体会分享下：
1、多线程“加快了”程序运行速度，但遇到一些如与网速有关的情况时，并非线程开的越多越好。
2、定义一些必要的接口增强了程序的可扩展性，如：用sql server 存储数据，程序移植的时缺乏sql server环境。定义数据存储接口，多种实现会方便很多。
3、合理的纪录日志对程序的部署、维护带来方便。这次我用[log4net]纪录一些日志，帮我纠了不少[try]的错误。
4、启用适量的配置参数于配置文件中，程序灵活性有所提高；但并非配置越多越好。我用来配置多种实现接口，反射实例化不同版本[dll]中功能类的。
其它的感受就不说了。
程序下载：
Click Here To Download
写这个程序加深了一点体会分享下：
1、多线程“加快了”程序运行速度，但遇到一些如与网速有关的情况时，并非线程开的越多越好。
2、定义一些必要的接口增强了程序的可扩展性，如：用sql server 存储数据，程序移植的时缺乏sql server环境。定义数据存储接口，多种实现会方便很多。
3、合理的纪录日志对程序的部署、维护带来方便。这次我用[log4net]纪录一些日志，帮我纠了不少[try]的错误。
4、启用适量的配置参数于配置文件中，程序灵活性有所提高；但并非配置越多越好。我用来配置多种实现接口，反射实例化不同版本[dll]中功能类的。
其它的感受就不说了。
程序下载：
Click Here To Download
扫一扫
765
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
