本文探讨了如何通过合理规划爬虫时间、选择高效过滤工具、排除更新频率低的子站点来提升爬虫效率；同时，介绍了针对SharePoint_Config数据库的备份策略，定期清理审计日志，并检查数据库所在磁盘的使用情况。此外，还提供了第三方产品和服务的规划建议，以及性能测试方法，包括使用Fiddler2和apache-jmeter进行访问速度测试。
1、crawl 时间的规划
统计站点使用率，根据使用率拆分成不同job，降低每个job的crawl时间，在非工作时间crawl
pdf filter 使用adobe的产品进行index速度很慢，可以使用Foxit PDF iFilter
对特别大的站点，使用rule排除长时间没有update的subsite，提高crawl效率和减少full crawl条目数量
2、DB
SharePoint_Config DB的备份设置为simple，设置full基本上用不上
Audit Log定期备份和清理
检查DB所在的磁盘是否有其他系统在同时使用
NAS系统的性能检查
3、第三方产品的规划
比如avepoint的job
其他自定义的job检查
4、性能测试
使用Fiddler2和apache-jmeter测试访问速度，jmeter 2.8以上可以发邮件通知
http://blog.youkuaiyun.com/pclzr/article/details/7591426
扫一扫
1274
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
