简单的相关度排序

在查询相关度排序时参考了多个网站的答案记录下来

1.简单的实现

用原来标题的长度减去标题用""替换掉原来的关键字的长度, 然后进行降序排序   

select *

from tableName

order by length(title)-length(replace(title,'keyword','')) DESC


2.上面的方法只能实现简单的相关度的排序,若要求高的话还应该使用分词器进行相关度的排序


例如使用IK分词器进行分词  

参考 http://lxw1234.com/archives/2015/07/422.html

导入自己的jar包到maven依赖库中

mvn install:install-file -Dfile=D:\IKAnalyzer2012_u6.jar   -DgroupId=com.janeluo-DartifactId=ik-analyzer -Dversion=2012_u6            -Dpackaging=jar


<dependency>
<groupId>com.janeluo</groupId>
<artifactId>ik-analyzer</artifactId>
<version>2012_u6</version>
</dependency>


在做的过程中还遇到了问题,查询结果中返回的只有数字和英文,是由于当前的编码为GBK,改成UTF-8就可以了


### 基于相关性对LDA主题模型提取的特征词进行排序 在LDA(Latent Dirichlet Allocation)主题模型中,生成的主题通常由一组关键词及其对应的概率组成。这些关键词的概率表示它们与特定主题的相关程度。为了基于相关性对LDA主题模型提取的特征词进行排序,可以采用以下几种方法: #### 方法一:利用LDA模型输出的概率值 LDA模型会为每个主题分配一系列单词,并给出每个单词对应于该主题的概率。这种概率可以直接反映单词与主题之间的相关性。因此,可以通过按概率降序排列的方式实现特征词的排序。 以下是使用Python中的`gensim`库获取并排序特征词的关键代码示例[^3]: ```python from gensim.models import LdaModel # 加载已训练好的LDA模型 lda_model = LdaModel.load('path_to_your_lda_model') # 获取某个主题下的前N个关键词及其概率 topic_id = 0 # 替换为目标主题ID num_words = 10 # 设置要显示的关键词数量 keywords_with_probabilities = lda_model.show_topic(topic_id, topn=num_words) # 输出结果 for word, probability in keywords_with_probabilities: print(f"{word}: {probability}") ``` 上述代码展示了如何从指定主题中提取关键词及其概率,并按照概率大小自动完成排序。 --- #### 方法二:计算TF-IDF权重作为补充指标 除了依赖LDA模型本身提供的概率外,还可以引入TF-IDF(Term Frequency-Inverse Document Frequency)来增强特征词的相关性评估。这种方法特别适用于处理大规模语料库的情况,在其中某些高频词汇可能被错误地标记为主题的核心成分。 具体操作流程如下: 1. 计算整个语料库中各单词的TF-IDF值; 2. 将TF-IDF得分与LDA模型输出的概率相结合,形成综合评分; 3. 根据综合评分重新排序特征词。 下面是结合TF-IDF调整特征词顺序的一个简单实例: ```python import numpy as np from sklearn.feature_extraction.text import TfidfVectorizer def combine_tfidf_and_lda(lda_keywords, tfidf_vectorizer, corpus): """ 结合TF-IDF和LDA的结果以优化特征词排序。 参数: lda_keywords (list): LDA返回的关键词列表 [(word, prob), ...] tfidf_vectorizer (TfidfVectorizer): 已拟合的TF-IDF向量化器 corpus (list of str): 文本数据集 返回: list: 经过加权后的关键词及其分数 """ vocab = tfidf_vectorizer.vocabulary_ avg_tfidf_scores = {} for doc in corpus: vectorized_doc = tfidf_vectorizer.transform([doc]) feature_names = tfidf_vectorizer.get_feature_names_out() for idx, score in zip(vectorized_doc.indices, vectorized_doc.data): term = feature_names[idx] if term not in avg_tfidf_scores: avg_tfidf_scores[term] = [] avg_tfidf_scores[term].append(score) combined_results = [] for word, prob in lda_keywords: if word in avg_tfidf_scores and len(avg_tfidf_scores[word]) > 0: weighted_score = prob * np.mean(avg_tfidf_scores[word]) else: weighted_score = prob combined_results.append((word, weighted_score)) return sorted(combined_results, key=lambda x: x[1], reverse=True) # 使用样例 tfidf_vec = TfidfVectorizer().fit(corpus) sorted_features = combine_tfidf_and_lda(keywords_with_probabilities, tfidf_vec, corpus) print(sorted_features[:10]) # 打印前十个最高分的特征词 ``` 此部分逻辑通过融合TF-IDF信息进一步提升了特征词选取的质量[^2]。 --- #### 方法三:应用外部语义资源提升效果 如果希望更精确地衡量词语间的关联关系,则可考虑借助Word Embedding技术(如Word2Vec、FastText或BERT),或者参考预定义的知识图谱数据库(例如WordNet)。这类高级手段允许捕捉更加复杂的上下文含义,从而改进最终呈现给用户的排名表单。 例如,当两个看似无关却实际紧密相连的概念出现在同一组候选集中时,传统统计学方法可能会低估其联系强度;而嵌入式表达则能有效缓解这一局限性。 --- ### 总结 综上所述,有多种途径可用于依据相关性对LDA主题模型所提取出来的特征词加以整理归纳。无论是单纯依靠内置参数还是额外融入辅助工具,均需视具体情况灵活选用最为适宜的技术方案。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值