解决SharePoint 2003的爬网性能问题- 之五

现在, 我们已经讨论主要的计数器. 让我们进一步地看看如何使用这些信息来帮我们提高爬网的性能吧.

 

Resource Usage/Performance Level

================

在Search Gatherer\Performance Level中看到的值与管理中心站点中可以找到的Resource Usage配置直接相关. 这个选择器归类于后台专注类型, 并且这项计数器的值的范围是1到5。 默认情况下, 这里的值是一个点(.), 也就是3。

 

该选项配置了gatherer更好地使用资源. 我这里所说的资源具体指的是内存, CPU等等. 如果服务器性能越强劲, 那么这个选项的值就应该更大一些. 如果你的机器性能并不怎么样, 你可以考虑减小这个值, 让让你的index服务器的压力减轻一点. 这就是tuing的意义以及乐趣之所在了.

 

假设你有一台大的强悍机器, 你应该配置Resource usage至少在等级4。那么这里发生的最大比变化就是你允许所有的filtering threads都已normal thread priority(普通线程优先级)启动, 而不是比普通优先级低以及的优先级启动. 如果到等级5的话, 也不会增加这里的优先级配置了.

 

增加Resource usage到4或5还会增加indexer机器上所允许的filtering theads的最大数目. 等级4的配置会允许最多48个filtering threads在机器上被创建出来, 等级5的话, 则最高可能达到64个filtering threads. 有更多的线程潜在地意味着更多的items可以同时被爬网, 但是并不能保证任意时刻都有48或64个线程同时工作. 关于这点, 稍后的文章中会更加详细地讨论.

 

Document, Document, Document...

=================

在进行任何修改之前, 你需要记录下来你当前的爬网, 当前是如何运行的, 以便于以后你确定这些修改在你的环境中会带来什么影响时参考. 在gatherer的性能调优问题上没有灵丹妙药, 如果你有条不紊地按照步骤做, 你就可以逐步提高性能, 最终达到你环境性能的最优化.

 

当我开始在一台机器上开始性能调优的时候, 我会记录下当前环境的很多东西, 然后跟踪我做的修改, 这些修改的效果, 以及修改后运行的时间.

 

我收集的信息包括如下的几点:

• Resource Usage/Performance Level
• Site Hit Frequency Rules
• Timeout settings - Connection
• Timeout settings - Request Ack
• 从爬网日志的summary中查看当前爬网的时间.
• 索引中的文档的数目
• 内容索引的大小Content Index size
• 标记为Retryd的文档的数目
• 在爬网日志中的Unique errors.

我喜欢记录下这些东西, 这样我就知道如果我做了修改之后, 爬网时间是增加了还是减少了, 还会知道错误数量的变化等.

 

后续的文章, 我们会还会讨论用来性能调优的一些技术点.

 

资料来源:

SharePoint Portal Server 2003 Crawl Performance Part 5

http://blogs.msdn.com/b/tonymcin/archive/2007/05/07/sharepoint-portal-server-2003-crawl-performance-part-5.aspx