WEBUS2.0 In Action - 搜索操作指南 - (3)

最新推荐文章于 2019-07-30 14:52:26 发布

原创最新推荐文章于 2019-07-30 14:52:26 发布 · 593 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了WEBUS2.0搜索系统的内部工作原理，包括查询分析、索引读取、结果集合并、评分、排序及过滤等关键步骤，并提供了一些内置组件的具体实现细节。

上一篇：WEBUS2.0 In Action - 搜索操作指南（2） | 下一篇：WEBUS2.0 In Action - 搜索操作指南（4）

3. 评分机制 (Webus.Search.IHitScorer)

IndexSearcher在完成搜索之后会利用Webus.Search.IHitScorer来对结果进行评分.

namespace Webus.Search
{
    public interface IHitsScorer
    {
        void Score(Hits hits, Query query);
    }
}

在进行评分时, 我们主要参考结果集hits, 同时也要参考用于搜索的query对象, 从而可以根据用户的原始查询需求来设定每个结果的权重.

IHitScorer.Score方法由IndexSearcher自动调用, 分数信息将保存在HitDoc.Score字段中:

public class HitDoc
{
    //...
    public float Score { get; set; }
    //...
}

WEBUS2.0 SDK包含一个默认评分器: Webus.Search.DefaultScorer, 它对一个结果进行两次评分, 第一次根据基本属性评分, 规则如下:

分数1 = Log10(文档关键词匹配个数 + 1) * query权重 (query.Boost) * 文档权重 (doc.Boost)

然后它会进行第二次评分, 这次主要考量关键词的前后相关性:

分数2 = 
foreach(var hit in hits)
{
    foreach(var pos in hit.Positions)
    {
        如果前后挨着的两个匹配 (pos) 满足如下条件, 则加分:
        a. 分别来自于两个不同的子查询
        b. 在文档位置上彼此前后相连
    }
}

最后的分数 = 分数1 + 分数2.

这套规则综合考量了索引和搜索过程中所有的重要变量:

1. 文档权重 - Document.Boost
2. 查询权重 - Query.Boost
3. 匹配数目的多寡 - Log10(hit.Positions.Count)
4. 匹配的相关性

因此能够较好的反应结果相关性, 是比较理想的评分器. 当然, 在实际运用中, 我们随时可以创造自己的个性化评分器, 只要实现IHitScorer接口即可.

4. 排序 (Webus.Search.IHitSorter)

排序发生在评分之后. IndexSearcher利用IHitSorter来完成排序操作:

namespace Webus.Search
{
    public interface IHitsSorter : IComparer<HitDoc>
    {
        void Sort(Hits hits);
    }
}

排序只需传入结果集hits即可. WEBUS2.0 SDK中内置了多种排序器:

DocIdSorter - 根据DocId的大小进行升序或降序排序. 通常我们也用这个排序器来实现对时间排序. 因为一般情况下, DocId大的文档时间靠后, DocId小的文档时间靠前.

public DocIdSorter(bool ascending) { ... }

FieldSorter - 根据指定Field的值进行升序或降序排序. 注意这个排序器会遍历结果集中指定Field的值, 因此当数据量非常大时会存在一定的性能瓶颈.

public FieldSorter(string fieldname, bool ascending, ISearcher searcher) {...}

ScoreSorter - 顾名思义, 根据评分来排序, 同样也支持升序和降序两种方式

public ScoreSorter(bool ascending) {...}

5. 过滤器 (Webus.Search.IHitFiler)

过滤发生在排序之后, 由过滤器 IHitFilter 来完成.

namespace Webus.Search
{
    public interface IHitsFilter
    {
        void Filter(Hits hits);
    }
}

过滤器的职责非常明确, 就是裁剪结果集大小. 这个处理步骤虽然最后发生, 其实非常实用. 比如结果分页, 比如去重都靠它来实现. 在WEBUS2.0 SDK中, 包含了如下过滤器:

PageFilter - 分页过滤器

//index - 起始记录位置
//count - 要显示的记录条数
public PageFilter(int index, int count) {...}

UniqueFilter - 去重过滤器

//fieldName - 将根据指定的字段的值来去重
public UniqueFilter(string fieldName) {...}

FieldFilter - 字段过滤器

public FieldFilter(string fieldname, object minValue, object maxValue) {...}

指定字段的最大值, 最小值进行过滤. 注意, 此过滤器同样也需要遍历结果集中指定字段的值, 因此在结果数目巨大的情况下会存在性能问题.

小结

WEBUS的搜索过程遵循着这样一条线进行:

分析查询对象Query, 生成子查询 -> 读取索引, 执行子查询 -> 合并结果集 -> 评分 -> 排序 -> 过滤 -> 返回结果

SDK的灵活之处就在于每个环节都提供了接口, 能够进行二次开发. 当然, 一般情况下我们只需要对评分及其之后的步骤进行二次开发即可满足大部分应用需求, 估计绝少有人会劳神费力的去开发前面的步骤 :). 虽然我们的实现可能不是最优化, 但是一定具备很强的普适性, 这也是WEBUS2.0的价值所在. 我衷心的希望有人能够利用WEBUS2.0 SDK来解决问题, 这也是对我们努力的宝贵肯定!

相关信息及WEBUS2.0 SDK下载：继续我的代码，分享我的快乐 - WEBUS2.0

访问我们的站点: www.gdtsearch.com