114 深入解析`QueryFusionRetriever`类中的相对评分融合方法 llamaindex.core.retrievers

深入解析QueryFusionRetriever类中的相对评分融合方法

在信息检索系统中，如何有效地融合多个检索器的输出结果是一个关键问题。QueryFusionRetriever类提供了_relative_score_fusion方法，用于应用相对评分融合技术。本文将详细解析该方法，帮助您更好地理解其工作原理及实际应用。

前置知识

在深入代码之前，我们需要了解以下几个关键概念：

1. 相对评分融合：一种用于融合多个检索器结果的算法，通过将每个检索器的评分进行归一化处理，然后根据检索器的权重进行加权融合。
2. 归一化（Normalization）：将数据按比例缩放，使之落入一个小的特定区间，如[0, 1]。
3. 检索器权重（Retriever Weight）：表示每个检索器在融合过程中的重要性。

代码解析

_relative_score_fusion方法

def _relative_score_fusion(
        self,
        results: Dict[Tuple[str, int], List[NodeWithScore]],
        dist_based: Optional[bool] = False,
    ) -> List[NodeWithScore]:
    """Apply relative score fusion."""
    # MinMax scale scores of each result set (highest value becomes 1, lowest becomes 0)
    # then scale by the weight of the retriever
    min_max_scores = {
   
   }
    for query_tuple, nodes_with_scores in results.items():
        if not nodes_with_scores:
            min_max_scores[query_tuple] = (0.0, 0.0)
            continue
        scores = [node_with_score.score for node_with_score in nodes_with_scores]
        if dist_based:
            # Set min and max based on mean and std dev
            mean_score = sum(scores) / len(scores)
            std_dev = (
                sum((x - mean_score) ** 2 for x in scores) / len(scores)
            ) ** 0.5
            min_score = mean_score - 3