评估检索结果的最优策略 Optimal Strategies for Reviewing Search Results

          搜索引擎返回的结果数量总是多于用户最终浏览的结果数量。这些返回的结果通常包括标题、链接、目标链接的摘要片段。每一个结果潜在可用或者不可用，所以用户浏览结果就存在付出代价和收益。这篇文章研究了最大化发现最优结果期望并且最小化代价的理性代理行为。我们提出了两种相似但是具有不同功能的方案，第一种方案中，比较结果的摘要片段，第二个方案中预测何时停止得到最优结果。我们证明，最优停止策略均适合两种方案：查看一定数量的结果，直到付出代价大于收益，最大化整体收益的期望，最后，我们讨论了两种方案和用户之间的关系，以及我们的研究如何帮助我们理解用户浏览结果的行为。

       针对一个检索结果，搜索引擎通常会返回大量的结果，在点击一个结果之前对每个结果浏览一遍是非常不切实际的。通常，相关度底的结果排名靠后，页面的前几个结果已经足够让我们找到想要的结果。实际上，经验主义研究已经证实这就是用户如何与检索结果页面互动的(Cutrell and Guan 2007;Joachims et al. 2007)。

当用户浏览检索结果时，他们在不断思考是否已经浏览了足够多的结果，何时停止浏览点击一个链接。我们将这些过程作为一个通过浏览结果的代价和收益的决策问题。我们假设用户在两种不同的情况下判断检索结果：逐一判断和对比判断。方案一假设用户浏览了大量的结果，然后从这些结果中找出最满意的结果。这个方案比较结果摘要片段，然后选择人为最好的结果。方案二是基于用户的浏览行为，用户浏览一个结果后就要决定是继续浏览，还是选择当前结果，或者放弃本次查询。这两种方案都是最优停止问题：从头浏览一些列结果，然后决定何时停止。一旦停止，可以选择当前的结果或者更早的一个结果。最优停止的结果数目是结果质量与付出代价的函数。

我们的模型可以这样描述，找到一个最优策略，当收益减去开销所得的结果期望最大。这也要求模型中的函数的单峰函数，也就是在峰值左侧函数单调递增，右侧函数单调递减，作者有证明。如果用户没有找到满意的结果，这个策略是没有收获的。这里，我们引入一个系数k，表示每种方案在浏览每一个结果时付出的代价参数。

假设n是浏览的结果数目，那么获得的回报

 B(n) 表示收益，C(n)表示开销。

在这个最优策略问题中，方案一需要浏览N个结果，N是期望最大化时的结果数。期望公式

搜索引擎的结果是倒排序的，我们假设第一个满意结果在位置i，i服从幂律分布。（用户点击链接的位置，用幂律分布是最优的模拟分布方式）

P定义为概率法分布函数，δ西格玛为第一个用户满意结果的位置，δ=1表示第一个结果为最有结果。b是幂律分布的指数，其他文献分析用户点击日志，得出的b=1.9.

假设p0表示查询结果中没有满意结果。我们定义概率模型公式为：p₀

其中ζ(b)=; ζ(b)是黎曼Zeta函数。是标准化概率分概率分布。

对比组

对比组的方案，可以判断结果的相对质量但是在点击之前不判定哪个结果最优。它能判断出在浏览的结果中哪个是最优的结果，但是不能决定这个链接是否真的满足查询。但是这个方案要事先决定将要浏览的结果数目N，在浏览完N个结果之前，即使最优结果出现了，也要将N个结果都浏览完。对这个方案，最优策略就是找到使期望最大的数目N，记为N_C.

对这种方案存在收益，就意味着最优结果必须在N个结果中。当最优结果存在，记收益值为1，否则记为0.

  因此收益的期望为

     假设k为检查每个结果所付出的代价，这个系数代表了时间以及判定最优结果的过程中付出的努力，代价函数为：

C(N)=kN,

所以奖励函数可以转化为;

 

当n=1时，回报函数值为常数，当N趋于无穷大时，汇报函数值为负无穷大，所以，所以这个函数符合单峰函数的要求。根据最优停止理论，当第N个结果为最优结果时，在这点的期望值比前后两个点的期望值要大。

N =  是最优的停止点。

幂律指数根据其他引用材料的结论，取值b=1.9。然后模拟N与k的关系并绘图。记N_C(k)，N_C =  ，去下限整数，图中描绘出不同的P₀时，k与Nc的关系，

第一组，浏览N个结果，每一个开销相同，选择其中最好的；第二组每一个结果都要审查并决定选择与否，最后在某一个点停止，并作为选择结果。两组分别代表不同的用户行为。

当P₀=0，P₀=0.19，P₀=0.55即检索结果中没有让用户不满意、小部分不满意、一半结果不满意，这时候，我们可以理解为检索结果质量好、比较好、一般，当检索质量好时，用户就会去花更多的精力去浏览每个结果，即开销大，当结果质量一般，用户就会花少量精力浏览结果，甚至放弃浏览结果。同时，当开销一样时，用户对质量高的一次检索会浏览更多的结果。Assuming the probability there are no satisfying results isapproximately the percentage of abandoned queries, which is between 19% and 55%depending on locale and platform (Li,Huffman, andTokuda 2009), (Joachims

当最终选择的结果越满意即k越小，用户浏览的结果也越多。

阈值组

这个方案代表一类用户，他们浏览结果，然后判断这个结果是否超过某一个阈值。他在浏览每一个结果时都要判断下一步是点击当前结果还是继续浏览，或者放弃本次查询。一旦发现最优结果，就停止浏览，不同于对照组一定要浏览N个结果再决策。把最优停止的结果位置记为N_T

N_T=min(σ,N),σ是最优结果的位置。如果在N个结果中没有发现满意的结果，用户就放弃本次查询。现在研究N_T与k之间的关系。

其中 ，Z= H_b(N)= 这样表示是便于后面简化公式变换过程。这个方案中不同的地方就在于对每个结果浏览时开销的计算过程：

这个公式表示，在最优停止位置，用户在某一个点停止或者浏览了全部的N个结果。回报函数的期望就可以表示为：

这个地方不能写出一个关于N_T的等式。但是可以模拟N_T与k之间的关系图。

 

 

 

 

 

 

 

 < k <=

幂律指数根据其他引用材料的结论，取值b=1.9。然后模拟N_T与k的关系并绘图。

 

讨论

理想代理不代表用户的实际行为，但是理论模型可以帮助我们洞察影响用户选择结果的因素。阈值代理能最优化检索结果的评估，然后判断一个结果是否最优。效率高并且歧义小。对照代理的优势在与可以可以从多个满意结果中选择最优结果；但是它必须要观察所有的NC个结果，阈值组在观察到NT个结果前停止观察。

图3构造了阈值代最有停止点的期望值与对照代理NC在P0=0时的关系。图中可以看出阈值代理观察的期望结果保持在10以内，按照搜索引擎的排序算法，最好的结果出现的位置也是越靠前的。这与经验注意研究的结果是相符合的，即大部分人不会观察第一页以外的查询结果。

模型中的三个参数，反应了不同的搜索引擎和搜索案例。p0表示搜索引擎返回满意结果的概率；b表示这些满意结果的幂律分布程度。k反映了用户评估一个结果为满意结果所带来收益的付出代价。对于搜索引擎的用户，代表评估结果所付出的努力，k很难测量，可以通过用户调查或者搜索环境的调整来估值。例如，假如一个搜索引擎针对的是移动设备，它了解用户对它返回的结果，通常是在何种位置选择了他想要的结果，一般浏览多少结果，这样就可以决定每次显示给用户多少结果。如果一个研究显示用户花了很多时间来阅读查询结果摘要，而不是更改查询问题，通过衡量不同查询类型之间花费的精力，可以通过查询辅助工具给予提示，比如重构查询问题，或是提示用户继续浏览。