Love-Coding

【代码】Elastic Search 的 should 其实是有默认的1分的。

从query角度：比如用户输入同一个query之后，在tagA的items下单10次，在tagB的items下单5次，则可以给query打上tagA；从item角度：如果同一个名字的items里，统计订单来源，占比最高的是queryA，占比次高的是queryB，则queryA和queryB互为同义词的候选；或者，如果同一个tag的items里，统计订单来源，占比最高的是queryA，占比次高的是queryB，则queryA和queryB互为同义词的候选；

根据搜索词（query）的关键词完全匹配doc中的关键词，召回/搜到 多个文本结果，之后。可以设计一个可加和的基于规则的公式，多个规则加和得到排序分数，

会造成解了这个badcase，出了另一个badcase的情况！针对几个badcase在那改规则，就是XJBG。对于每条数据，4个特征都是有默认值的；对于每条数据，4个特征明显是可加和的；如果要计算两文本匹配的规则匹配分数。

1，来自item的CTR，因为item名中有和query重合的string，这种方法显然不能反映每个query在整个搜索结果页的CTR，除非一个query得搜索结果的所有item都是一种item，才基本能用这种item名中string的CTR作为query的CTR。2，来自query在搜索结果页整个页面的CTR统计，这种方法能代表每个query在整个搜索结果页的CTR。

【代码】Lucene，建自定义key的索引。

文件内容：报错说的那个文件，

做query理解/标签 容易出效果，query之前没有同义词 纠错词等标签，相当于从零做，或者优化之前的query标签，而item之前已有很准的“标签”也就是item名称分词的结果。

如果扩召回的逻辑是：query-tag等于item-tag时，输入query召回该item，那么每个query-tag可平均召回500个item，，（1-item --> 1tag --> 1500query），如果想给item挖掘tag打上，每个item要挖掘1500个tag之多！如果item类目体系一共20个类目，每个item都有一个类目，一共有10000个item，则平均每个类目tag下有500个item，，如果一共30000个query，那么。那么给每个query打上一个类目，

一个item“麦当劳”：被切词成“麦当 + 劳”

所以向量召回的结果起码会是BM25文本召回的补充。向量召回(做得好的话)的结果是。BM25文本召回的结果是。

【代码】Lucene 英文词根处理。

要超越ElasticSearch+（item名）分词的baseline，如果都要求 有相关性的item（有token匹配），其实就是相当于优化分词，而分词优化的极限就是把 item名和query词 切分成字级token。所以标签召回，只能是相当于 扩充更多的 推荐的item。搜【健身】，搜出【哑铃】就相当于是推荐出的item。比如搜【杠铃】，搜出【哑铃】可以，

就是热门的query词召回数量提升了10倍，但是ElasticSearch的召回数量阈值不够，item侧标签的一种来源是 item类目的同义词 直接打到item上，这些 item类目同义词 则多去覆盖 非热门的query词。同时其他的query词召回数量没有增益。

【代码】【ElasticSearch】DisMaxQueryBuilder 和 BoolQueryBuilder 的结合使用。

可以查找所有 匹配上(分数为1)的doc，没匹配上(分数为0)的doc不返回。

就是DisMaxQueryBuilder可以用来选择出 最高的。DisMaxQueryBuilder的定义。最高分的分值是相同的，最高分的doc就只返回。

【代码】ElasticSearch 两个BoolQueryBuilder满足其中一个。

【代码】ElasticSearch的BoolQueryBuilder使用。

【代码】Lucene 自定义词库。

【代码】Lucene 分词。

比如搜 奶茶 在 呷哺 下单，（呷哺也在卖奶茶），有上万个 奶茶query 都在 呷哺item 下单，那么给 呷哺item 打上 奶茶tag 肯定是OK的一条数据，通过 高频query的订单 找到的query-item的绑定关系，作为训练数据，有了模型后，然后对 比如 item呷哺呷哺 进行预测出 奶茶tag。在订单越大的时候，数据是越置信的，

高频/低频 用户行为（浏览/点击/下单）是相当于 已经去掉噪声 的数据，数据质量是可以的，可以一起用 比如 高频1gram+高频2gram+高频3gram+高频4gram。以 同一query 的 高频订单/低频订单，作为正负样本，训练二分类模型。这里 面馆A，面馆B 的标签 必须是已有的，都是 面类饭店，那么可以认为 牛肉面 和 牛肉拉面 是很相似的词了。然后认为 牛肉面 和 牛肉拉面 互为相似词，如果没有好的分词工具的话，训练一个文本生成模型，训练一个文本生成模型，训练一个文本生成模型。

可以一起用 比如 高频1gram+高频2gram+高频3gram+高频4gram。如果没有好的分词工具的话，

高频用户行为（点击/下单）是相当于 已经去掉噪声 的数据，数据质量是可以的，以 同一query 的 高频订单/低频订单，作为正负样本，训练二分类模型。

用户搜 牛肉拉面 — 高频下单 面馆A 面馆B。用户搜 牛肉面 — 高频下单 面馆A 面馆B。然后对 面馆C 进行预测。训练一个文本生成模型，

用户搜 牛肉拉面 — 高频下单 面馆A 面馆B 面馆D。用户搜 牛肉面 — 高频下单 面馆A 面馆B 面馆C。那么可以认为 牛肉面 和 牛肉拉面 是很相似的词了。

在这个searchBuilder变量里，对里面query变量点右侧 view按钮，在IDEA的debug模式，走到Java代码的searchBuilder，IDEA里会显示出一个json，把这个json填到。打开插件，GET的json填什么。安装chrome的这个插件。

import java.io.IOException;import java.nio.file.Paths;import java.util.ArrayList;import java.util.List;import org.apache.lucene.index.IndexReader;import org.apache.lucene.analysis.cn.smart.Smart...

from sklearn.feature_extraction.text import TfidfTransformerfrom sklearn.feature_extraction.text import CountVectorizerif __name__ == "__main__": corpus = ["我 来到 北京 清华大学", # 第一个文本切词后的结果，词之间以空格...

import scipy.spatialimport numpy as npquery_embedding = np.array([0,0,1])corpus_embeddings = np.array([[0,0,1],[1,0,0],[0,1,0]])distances = scipy.spatial.distance.cdist([query_embedding], corpus_e...

https://github.com/faneshion/MatchZoo/issues/72筛出多个候选doc用lucene其中也提到SumBasic算法是在一个已选定为answer的长的doc里挑几个最重要的sentence的好办法

用doc_train和query_train训练一个生成式model，doc_test过来用model生成query_test_v2，再把doc_test和query_test_v2拼起来作为doc_test_v2，还用query_test查

user_input = mx.sym.reshape(user_input_before_reshape, shape=(-1, total_group_length, eb_dim))att_user_input = mx.sym.reshape(user_input, (bs, total_group_length, eb_dim))att_node_input = mx.sym.res...

import numpy as npfrom scipy.spatial.distance import cosinedef findTopNindex(array,N): # return np.argsort(array)[::-1][:N] # 从大到小 return np.argsort(array)[:N] # 从小到大def cos_distance(vect...

Generic Intent Representation in Web Search本文提出GEneric iNtent Encoder (GEN Encoder)，为用户搜索意图训练一个向量表示，使用大规模必应搜索的用户点击日志作为用户意图的弱监督GEN Encoder 端对端的 训练将 查询和点击信息 映射到相似向量，之后再在多个任务finetune，实验在 一个 查询意图相似性 数...

The term ad-hoc refers to the scenario where documents in the collection remain relatively static while new queries are submitted to the system continually.by《A Deep Look into Neural Ranking Models f...

LSH是为了将向量hash到多个桶里以索引以缩小计算向量相似度时的候选。

import numpy as npdef average_precision(gt, pred): """ Computes the average precision. This function computes the average prescision at k between two lists of items. Parameters ------...

Pointwise输入一个query一个doc输出一个scorePairwise输入两个doc输出一个scoreListwise输入一个query一组doc整体输出一组score