ranker_worker.go

最新推荐文章于 2025-08-01 13:47:17 发布
最新推荐文章于 2025-08-01 13:47:17 发布
阅读量255 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/zhangboyu/p/7461676.html
本文介绍了一个基于Go语言实现的搜索引擎排名器组件，该组件通过添加、移除文档及执行排名请求来更新和检索数据。主要定义了用于操作文档的结构体如AddDocRequest、RankRequest等，并实现了针对每个分片的worker函数。 
package engine

import (
    "github.com/huichen/wukong/types"
)

type rankerAddDocRequest struct {
    docId  uint64
    fields interface{}
}

type rankerRankRequest struct {
    docs                []types.IndexedDocument
    options             types.RankOptions
    rankerReturnChannel chan rankerReturnRequest
    countDocsOnly       bool
}

type rankerReturnRequest struct {
    docs    types.ScoredDocuments
    numDocs int
}

type rankerRemoveDocRequest struct {
    docId uint64
}

func (engine *Engine) rankerAddDocWorker(shard int) {
    for {
        request := <-engine.rankerAddDocChannels[shard]
        engine.rankers[shard].AddDoc(request.docId, request.fields)
    }
}

func (engine *Engine) rankerRankWorker(shard int) {
    for {
        request := <-engine.rankerRankChannels[shard]
        if request.options.MaxOutputs != 0 {
            request.options.MaxOutputs += request.options.OutputOffset
        }
        request.options.OutputOffset = 0
        outputDocs, numDocs := engine.rankers[shard].Rank(request.docs, request.options, request.countDocsOnly)
        request.rankerReturnChannel <- rankerReturnRequest{docs: outputDocs, numDocs: numDocs}
    }
}

func (engine *Engine) rankerRemoveDocWorker(shard int) {
    for {
        request := <-engine.rankerRemoveDocChannels[shard]
        engine.rankers[shard].RemoveDoc(request.docId)
    }
}

转载于:https://www.cnblogs.com/zhangboyu/p/7461676.html

LearningToRank(LTR)排序算法LGBMRanker的原理和使用
Miracle8070
12-03 1万+
1. 写在前面 在最近新闻推荐的比赛中， 接触到了一个排序模型LGBMRanker， 该模型与普通的分类模型LGBMClassifier不太一样， 普通的分类模型在进行推荐的时候， 往往是先预测某个商品或者文章用户会不会点击， 也就是它的目标是预测用户点击某篇文章或者某个商品的概率， 然后根据这个概率值进行排序， 排完之后，把最靠前的几个返回回来给用户进行推荐。 而LGBRanker模型， 它不关心用户点击某篇文章的概率， 而是根据用户点击或者不点击的这个行为， 直接去预测最后商品或者文章的一个相对顺序，
search_engine_ranker.zip
03-16
《搜索引擎排名优化工具详解——基于"search_engine_ranker.zip"》 在当今互联网时代，搜索引擎优化（SEO）已经成为提升网站可见度和流量的关键策略。"search_engine_ranker.zip" 文件正是一个专注于此领域的工具，...
【AI知识点】重排序器（Re-ranker）
AI完全体
10-05 1791
重排序器（Re-ranker） 是信息检索系统中用于对初步检索结果进行进一步排序的关键组件。它通过更复杂的模型（如机器学习、深度学习或基于规则的模型）对初步结果进行优化，确保用户得到更精确的结果。重排序器广泛应用于搜索引擎、问答系统、推荐系统和广告系统中，能够有效提高系统的相关性和用户满意度。
【RAG 检索排序详解】RRF vs Reranker：原理、区别与实战应用
weixin_48389642的博客
08-01 1385
RRF（Reciprocal Rank Fusion） 和 Reranker（重排序器）的区别、适用场景及如何结合使用。
RAG优化神器：rerankers重新排名模型的终极方案，提供轻量级统一API
m0_59235945的博客
09-18 7177
Reranker 是对初步检索出的候选文档集进行重新排序的模型或算法。它在初始检索（通常基于简单的匹配算法，如 TF-IDF、BM25 或 Dense Embedding）之后，对结果进行二次处理，确保最相关的内容排在前面。Reranker 通常利用更复杂的语义理解和深度模型，比如 BERT 或其他 Transformer 模型，来更好地衡量候选文档与查询之间的相关性。
RAG检索增强之Reranker重排序模型详解！
xx_nm98的博客
03-09 5726
ReRanker模型是对RAG检索返回的结果进行重新排序的模型。也就是下图所示中2nd Retrieval的模型。具体来说，ReRanker模型在RAG Pipeline中扮演着第二阶段的角色，即在初始检索步骤之后，对检索出的文档块chunks进行重新排序，以确保相关的文档块优先被传递给LLM进行处理。
提高 RAG 应用准确度，时下流行的 Reranker 了解一下？
ZILLIZ
04-17 5619
这是因为重排过程需要对每个候选文档进行高成本的模型推理，不同于前者可以每次查询都复用离线索引的结果，使用 Reranker 需要每次在线查询都进行推理，结果无法复用，带来重复的开销。虽然 Reranker 的使用成本远高于单纯使用向量检索的成本，但它仍然比使用 LLM 为同等数量文档生成答案的成本要低。在 RAG 架构中，Reranker 可以筛选向量搜索的初步结果，丢弃掉与查询相关性低的文档，从而有效防止 LLM 处理无关信息，相比于将向量搜索返回的结果全部送进 LLM 可大大减少生成部分的耗时和成本。
Python库 | arg_ranker-2.6.tar.gz
03-01
在现代软件开发中，Python凭借其简洁的语法、丰富的库支持以及强大的社区成为了一个热门的开发语言，尤其在后端开发领域更是备受青睐。今天我们将探讨一个名为`arg_ranker`的Python库，它位于资源包`arg_ranker-2.6....
T_neg_float_6.rar_float_float_neg
09-24
在IT行业中，尤其是在自然语言处理（NLP）和信息检索领域，"Abstract base class for corpus rankers" 是一个重要的概念。这里的"corpus ranker"指的是用于对文档集合（corpus）中的元素进行排序的算法或类。这些...
from llama_index.embeddings import OpenAIEmbedding from llama_index import GPTSimpleVectorIndex from llama_index.llms import OpenAI from llama_index.postprocessor import ColBERTReRanker 如何安装这些库
06-05
它支持多种大语言模型和向量化搜索工具[^2]。可以通过以下命令安装： ```bash pip install llama-index ``` #### 2. 安装 `OpenAIEmbedding` 和 `OpenAI` 相关依赖 为了使用 OpenAI 提供的嵌入模型（如 `text-...
from bigmodule import M # <aistudiograph> # @param(id="m1", name="initialize") # 交易引擎：初始化函数, 只执行一次 def m1_initialize_bigquant_run(context): import math import numpy as np from bigtrader.finance.commission import PerOrder # 系统已经设置了默认的交易手续费和滑点, 要修改手续费可使用如下函数 context.set_commission(PerOrder(buy_cost=0.0003, sell_cost=0.0013, min_cost=5)) # 预测数据, 通过 options 传入进来, 使用 read_df 函数, 加载到内存 (DataFrame) # 设置买入的股票数量, 这里买入预测股票列表排名靠前的5只 stock_count = 1 # 每只的股票的权重, 如下的权重分配会使得靠前的股票分配多一点的资金, [0.339160, 0.213986, 0.169580, ..] context.stock_weights = np.array( [1 / math.log(i + 2) for i in range(0, stock_count)] ) context.stock_weights = context.stock_weights / context.stock_weights.sum() # 设置每只股票占用的最大资金比例 context.max_cash_per_instrument = 1 context.options["hold_days"] = 1 # @param(id="m1", name="handle_data") # 回测引擎：每日数据处理函数, 每天执行一次 def m1_handle_data_bigquant_run(context, data): # 按日期过滤得到今日的预测数据 ranker_prediction = context.data[ context.data.date == data.current_dt.strftime("%Y-%m-%d") ] # 1. 资金分配 # 平均持仓时间是hold_days, 每日都将买入股票, 每日预期使用 1/hold_days 的资金 # 实际操作中, 会存在一定的买入误差, 所以在前hold_days天, 等量使用资金；之后, 尽量使用剩余资金（这里设置最多用等量的1.5倍） is_staging = ( context.trading_day_index < context.options["hold_days"] ) # 是否在建仓期间（前 hold_days 天） cash_avg = context.portfolio.portfolio_value / context.options["hold_days"] cash_for_buy = min(context.portfolio.cash, (1 if is_staging else 1.5) * cash_avg) cash_for_sell = cash_avg - (context.portfolio.cash - cash_for_buy) positions = { e: p.amount * p.last_sale_price for e, p in context.portfolio.positions.items() } # 2. 生成卖出订单：hold_days天之后才开始卖出；对持仓的股票, 按机器学习算法预测的排序末位淘汰 if not is_staging and cash_for_sell > 0: equities = {e: e for e, p in context.portfolio.positions.items()} instruments = list( reversed( list( ranker_prediction.instrument[ ranker_prediction.instrument.apply(lambda x: x in equities) ] ) ) ) for instrument in instruments: context.order_target(instrument, 0) cash_for_sell -= positions[instrument] if cash_for_sell <= 0: break # 3. 生成买入订单：按机器学习算法预测的排序, 买入前面的stock_count只股票 buy_cash_weights = context.stock_weights buy_instruments = list(ranker_prediction.instrument[: len(buy_cash_weights)]) max_cash_per_instrument = ( context.portfolio.portfolio_value * context.max_cash_per_instrument ) for i, instrument in enumerate(buy_instruments): cash = cash_for_buy * buy_cash_weights[i] if cash > max_cash_per_instrument - positions.get(instrument, 0): # 确保股票持仓量不会超过每次股票最大的占用资金量 cash = max_cash_per_instrument - positions.get(instrument, 0) if cash > 0: context.order_value(instrument, cash) # @module(position="-357,-566", comment="""""", comment_collapsed=True) m2 = M.input_features_dai.v30( mode="""表达式""", expr="""score position -- input_2.close / input_1.close """, expr_tables="""tianchuang30_60""", extra_fields="""date, instrument""", order_by="""date, instrument""", expr_drop_na=True, extract_data=False, m_name="""m2""" ) # @module(position="-356,-435", comment="""抽取预测数据""", comment_collapsed=True) m3 = M.extract_data_dai.v17( sql=m2.data, start_date="""2025-05-26""", start_date_bound_to_trading_date=True, end_date="""2025-06-26""", end_date_bound_to_trading_date=True, before_start_days=90, debug=False, m_name="""m3""" ) # @module(position="-321,-338", comment="""""", comment_collapsed=True) m4 = M.data_sort.v6( input_ds=m3.data, sort_by="""position""", group_by="""date""", keep_columns="""--""", ascending=True, m_name="""m4""" ) # @module(position="-314,-256", comment="""""", comment_collapsed=True) m1 = M.bigtrader.v30( data=m4.sorted_data, start_date="""""", end_date="""""", initialize=m1_initialize_bigquant_run, handle_data=m1_handle_data_bigquant_run, capital_base=1000000, frequency="""daily""", product_type="""股票""", rebalance_period_type="""交易日""", rebalance_period_days="""1""", rebalance_period_roll_forward=True, backtest_engine_mode="""标准模式""", before_start_days=0, volume_limit=1, order_price_field_buy="""open""", order_price_field_sell="""close""", benchmark="""沪深300指数""", plot_charts=True, debug=False, backtest_only=False, m_name="""m1""" ) # </aistudiograph>
最新发布
09-02
以下是一个完善后的选股策略代码示例，包含交易引擎初始化、每日数据处理函数、数据特征处理、抽取、排序和回测模块： ```python import utils import logging import work_flow import settings ...
Reranker:使用深度语言模型构建文本重审器
05-26
重整器 Reranker是一种轻量级，有效且高效的软件包，用于在信息检索（IR），问题解答（QA）和许多其他自然语言处理（NLP）管道中训练和部署深度语言模型Reranker。 培训过程遵循我们的ECIR论文使用局部对比模拟（LCE）损失。 Reranker说话的拥抱脸 :hugging_face: 语！ 这意味着，一旦将所有最新的预训练模型移植到HF变压器，您就可以立即获得它们。 您还将获得熟悉的模型和培训师界面。 艺术表演舞台。 Reranker向MS MARCO文档排行榜提交了两份意见书。 每个人都获得了第一名，推进了SOTA！ 日期 提交名称 开发人员MRR @ 100 评估MRR @ 100 2021/01/20 LCE损失+ HDCT（整体） 0.464 0.405 2020/09/09 HDCT top100 +基于BERT的FirstP（单个） 0.434 0.382 特征
Rag中的精排reranker
sinat_28694519的博客
01-14 1788
在rag应用中，随着文档数量的增加，召回准确率会下降，主要原因是文档数量增加，会导致切分后的chunk区分度下降，不管是稀疏检索还是稠密检索，chunk和query的相似度分数难以区分开。为了解决以上问题，一般会引入reranker，初步召回时先召回比较多的chunk，比如top 20或top 50，然后再对其进行精排，即reranker。以下是网易rag应用QAnything中的数据，当chunk数据超过60万之后，一阶段召回的准确率就会明显下降，使用reranker才能继续提高召回准确率。
【RAG实践】Rerank，让大模型 RAG 更近一步
2301_78285120的博客
04-09 4810
近几年, 随着深度学习的发展，尤其是预训练语言模型的出现极大的推动了文本表示技术的效果, 基于预训练语言模型的文本表示模型在学术研究数据、工业实际应用中都明显优于传统的基于统计模型或者浅层神经网络的文本表示模型。本文主要关注在Rerank，本文中，Rerank可以在不牺牲准确性的情况下加速LLM的查询（实际上可能提高准确率），Rerank通过从上下文中删除不相关的节点，重新排序相关节点来实现这一点。加载数据后，基于文档对象列表（或节点列表），建设他们的index，就可以方便的检索他们。
【论文】长文档重排
elf1110的博客
08-02 576
将模块化重排推广到长文档重排，帮助查询交互文档的每一个段落，充分获取文档信息。
用通俗易懂的方式讲解：大模型 Rerank 模型部署及使用技巧总结
热门推荐
2301_78285120的博客
03-12 1万+
RAG 是一种结合了信息检索和文本生成的语言模型技术。简单来说，当你向大语言模型（LLM）提出一个问题时，RAG 首先会在一个大型的文档集合中寻找相关信息，然后再基于这些信息生成回答。Rerank 的工作就像是一个智能的筛选器，当 RAG 从文档集合中检索到多个文档时，这些文档可能与你的问题相关度各不相同。有些文档可能非常贴切，而有些则可能只是稍微相关或者甚至是不相关的。这时，Rerank 的任务就是评估这些文档的相关性，然后对它们进行重新排序。它会把那些最有可能提供准确、相关回答的文档排在前面。
小白也可以轻松学大模型 RAG：FlagEmbedding 重排序
2201_75499313的博客
03-21 3587
RAG模型已经取得了显著的进展，但其性能仍然受到排序质量的限制。在实践中，我们发现重排序技术能够有效地改善排序的效果，从而进一步提升RAG模型在问答任务中的表现。重排序的作用与传统的嵌入模型不同，重排序器（reranker）直接以问题和文档作为输入，并输出相似度，而不是嵌入。通过将查询和文段输入到重排序器中，您可以获得相关性分数。
Retrieve, Read, Rerank: Towards End-to-End Multi-Document Reading Comprehension
Forlogenの解忧杂货铺
12-25 6056
ACL 2019 Retrieve, Read, Rerank: Towards End-to-End Multi-Document Reading Comprehension github 本文所关注的是阅读理解中的多文档输入问题，即如何根据问题在给定的多个输入文档中找到对应答案的区域。解决此类问题的一种方法便是retriever -> reader -> reranker的pipe...
基于Reranker方法增强RAG的检索效果
qq_65019236的博客
06-24 2163
Reranker 是信息检索（IR）生态系统中的一个重要组成部分，用于评估搜索结果，并进行重新排序，从而提升查询结果相关性。在 RAG 应用中，主要在拿到向量查询（ANN）的结果后使用 Reranker，能够更有效地确定文档和查询之间的语义相关性，更精细地对结果重排，最终提高搜索质量。目前，Reranker 类型主要有两种基于统计的 Reranker 会汇总多个来源的候选结果列表，使用多路召回的加权得分或倒数排名融合（RRF）算法来为所有结果重新算分，统一将候选结果重排。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值