问答模型(九) 模糊查询改进

原创 已于 2022-06-09 13:55:59 修改 · 261 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #自然语言处理 #机器学习

于 2022-06-05 19:51:45 首次发布

改进方案

在这里插入图片描述

引入预训练词向量

下载预训练的W2V词表
在这里插入图片描述
使用gensim读取下载的预训练词向量并存为.pickle格式（因为某些暂时不清楚的原因，torchserve里没有成功使用gensim读取到词向量，因此存为.pickle格式，使用pickle.load(f)方法进行读取）

# -*- coding: utf-8 -*-
import gensim, pickle

model_pt_path = r'sgns.merge.word'
W2V = gensim.models.KeyedVectors.load_word2vec_format(model_pt_path
最低0.47元/天 解锁文章
NLP：函数封装之利用正则表达式compile、findall对多组关键词进行模糊查询并返回统计个数，findall截取两个指定符号之间的内容
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-10 3732
​ NLP：函数封装之利用正则表达式compile、findall对多组关键词进行模糊查询并返回统计个数，findall截取两个指定符号之间的内容 目录 利用正则表达式compile、findall对多组关键词进行模糊查询并返回统计个数 #Python函数封装：利用正则表达式compile、findall对多组关键词进行模糊查询统计个数，findall截取两个指定符号之间的内容 import re def fuzzy_pattern_Count(fuzzy_pattern,strs_list)
实测国内AI大模型问答效果
lishanlu136的博客
03-21 1989
AI大模型体验
智能搜索（输入关键字模糊查询）
汤圆玛奇朵的博客
06-10 3350
最近项目里用到，特记录一下。自己修改下可连接数据库。 前端html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0...
word_ngram 模型使用小tip
sunny的博客
12-28 620
模型加载 import gensim.models import pandas #vocabulary 中不存在的单词计算，切分字符求平均计算余弦相似度 # 本方法，使用wiki word+char模型，计算PKU 500词语相似，在wiki中的词汇 def cha_w2v(s): res = [] for i in s: print(i, model[i]) res.append(model[i]) return sum(res)/le..
Flat-Lattice-Transformer模型源码测试
小乖的崽崽的地盘
12-02 5184
Flat-Lattice-Transformer模型github源码测试
python中数据库like模糊查询方式
09-17
主要介绍了python中数据库like模糊查询方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
13、知识库简单问答模型解析
nft7creator的博客
09-04 51
本文详细解析了多种基于知识库的简单问答模型，包括Mohammed等人（2018）模型、GENQA模型、Sorokin和Gurevych（2017）模型、KEQA框架、He和Golub（2016）模型以及Yin等人（2016b）模型。文章从模型结构、核心方法、知识利用方式及适用场景等方面进行了深入分析，并对模型的复杂度和性能进行了对比总结。此外，还探讨了未来知识库问答模型的发展趋势，如技术融合、多模态融合和个性化问答等。
智能题目问答系统，基于模糊搜索实现
最新发布
09-19
同时，通过用户反馈机制收集用户对搜索结果的评价，进一步调整和改进算法模型。 智能题目问答系统的成功应用，不仅改善了信息检索的效率和质量，也使得用户能够更快捷地获取所需知识。这种系统广泛应用于客户服务、...
大语言模型融合知识图谱的问答系统研究
weixin_43961909的博客
07-04 1981
问答系统（Question Answering，QA）能够自动回答用户提出的自然语言问题，是信息检索和自然语言处理的交叉研究方向，将知识图谱（Knowledge Graph，KG）与问答系统融合，正确理解用户语义是一大挑战。虽然知识图谱问答能够通过对问题进行分析理解，最终获取答案，但面对自然语言的灵活性与模糊性，如何处理复杂问题的语义信息、如何提高复杂推理问答的高效性仍是研究难点。
拼音汉字模糊匹配字库（仿google和百度搜索引擎字词库）
03-08
拼音汉字模糊匹配字库（仿google和百度搜索引擎）共有2万多个字词和拼音对应
关于pickle解码
学习NLP的小白
04-27 565
首先 写出StrToBytes类 然后注意 在pickle.load（）函数这里 加入编码格式，一开始的open函数 可以先不写编码格式。便可以正常打开 class StrToBytes: def __init__(self, fileobj): self.fileobj = fileobj def read(self, size): return self.fileobj.read(size).encode() def readli...
利用Gensim在英文Wikipedia训练词向量
Mr1060907970的博客
01-18 7048
网上流传的训练wiki词向量版本直接将文章标点去掉，拼接成一个字符串，并没有处理断句，这里改进了gensim的程序，对wiki文章进行了分句处理。
gensim加载预训练词向量到模型中的使用方法
大数据开发、JAVA开发、人工智能AI
03-22 7039
gensim Introduction Gensim是一个用于从文档中自动提取语义主题的Python库，足够智能，堪比无痛人流。 Gensim可以处理原生，非结构化的数值化文本(纯文本)。Gensim里面的算法，比如Latent Semantic Analysis(潜在语义分析LSA)，Latent Dirichlet Allocation，Random Projections，通过在语料库的训练下检验词的统计共生模式(statistical co-occurrence patterns)来发现文档的语义结
简单的模糊搜索案例
YaNglIN123i的博客
11-14 3937
此案例是一个简单的模糊搜索功能，记录的点是怎么保持原数组不改变。这个demo也是我在学习的过程中看到的，进行一次记录学习，小伙伴们可以自己试一下。
word2vec 如何获得当前的所有词向量表
热门推荐
lwgkzl的博客
01-15 1万+
使用函数：model.wv.index2word() 废话不多说，我们来看代码，假设我们已经训练好了模型。 from gensim.models.word2vec import Word2Vec import pickle model = Word2Vec.load('./all_data/WORD_MODEL') #WORD_MODEL是我已经生成的模型 print(model....
csv分词_最全NLP中文文本分类实践（上）——中文分词获取和Word2Vec模型构建
weixin_39827034的博客
11-22 726
1 简介最近在学习NLP的相关知识，想通过实践来加深对所学知识的认知。因此，自己从网上找了一个中文语料库进行尝试。本文的实践内容包括文件的读取、中文分词、词向量表达、模型构建和模型融合。本文所采用的语料库为复旦中文文本分类语料库，包含20个类别。但是，这个网盘里面只有train一个文件夹，我就自己人工把它分成了训练集和测试集。网盘链接:https://pan.baidu.com/s/1833mT2...
最全NLP中文文本分类实践（上）——中文分词获取和Word2Vec模型构建
zhoubk1998的博客
09-02 4611
1 简介 最近在学习NLP的相关知识，想通过实践来加深对所学知识的认知。因此，自己从网上找了一个中文语料库进行尝试。本文的实践内容包括文件的读取、中文分词、词向量表达、模型构建和模型融合。 本文所采用的语料库为复旦中文文本分类语料库，包含20个类别。但是，这个网盘里面只有train一个文件夹，我就自己人工把它分成了训练集和测试集。 网盘链接:https://pan.baidu.com/s/1833mT2rhL6gBMlM0KnmyKg 密码:zyxa 注：本文重点关注于代码的实践内容，没有背景知识和理论的介
gensim使用word2vec处理时序数据
Braylon的博客
09-04 1129
文章目录简介处理流程数据预处理使用gensim生成w2vpickle存储读取w2v 简介 word2vec大多数人知道是NLP一种预处理编码技术，但是我个人通过数据竞赛和推荐系统方面的学习发现word2vec在竞赛和推荐等场景使用也非常多。 如果你想做NLP的w2v，其实我比较推荐使用sklearn中自带的库，因为使用gensim本身对输入有一些处理，比如： gensim会自动去掉停用词，也就是说gensim不能得到停用词的emb gensim也不对I这种单个字母的生成emb 等等(我有点记不清了，但是确
Python - pickle模块（对象序列化）
⚡
06-04 1835
专题：【Python - JSON模块】 序列化：将数据原封不动的以二进制的形式（字节流）写入文件（保留原有格式），而普通的文件操作是在字符串层面上进行的操作； 反序列化：从字节流中提取相应的数据（对象）的过程； import pickle with open("C:/Users/Geclipse/Desktop/222.txt","wb") as f: pickle.dump(...
基于BERT的自然问答系统基线模型研究
Natural Questions（NQ）数据集是由Google发布的大规模真实用户查询问答数据集，其特点是问题来源于真实的搜索引擎用户提问，答案则由人工标注员从维基百科页面中提取或撰写。与传统的SQuAD等封闭式问答数据集不同，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值