- 博客(17)
- 资源 (2)
- 收藏
- 关注
原创 Faiss如何通过替换槽位提高意图识别的准确度
faiss余弦相似度识别的时候如果一句话里面包含几个槽Slot,这些Slot包含一些各自的字典,比如城市、水果等等,需要在训练数据中替换这些槽位,以增强意图识别的泛化能力。这样,即使用户用不同表达方式查询,FAISS 也能正确识别意图。这样,即使用户输入不同水果,FAISS 也能找到正确的意图。,这样不管用户输入哪种水果,FAISS 都能正确匹配。,让 FAISS 见过各种可能的句子,适用于。:加入不同表达方式,提高泛化能力,适用于。相关的句子是:"我要买[水果]",:先替换槽位为通用模板再查询,适用于。
2025-03-08 21:45:36
293
原创 FAISS 使用量化和蒸馏模型加速 SentenceTransformer的推理
❌ 需要额外的 GPU 训练资源。量化,减少存储和计算量。,存储更少,计算更快。,但语义理解稍微下降。,训练数据量要足够。
2025-03-08 21:16:13
612
原创 SentenceTransformer模型向量计算和用Jieba + NLP的差异
(或 MiniLM)预训练的 Transformer 模型,能够理解。主要依赖规则和统计方法。,SentenceTransformer 在 CPU 上跑。,已经比传统 NLP 强很多了!也是可以的,但如果是。,难以处理语义相似性。
2025-03-08 21:10:34
875
原创 spacy、jieba、hanlp实体识别技术选型经历
最近在研究数字员工中文智能实体识别相关的内容,涉及到了技术选型,最开始是从rasa开始研究,rasa提供了基于spacy、regex(规则)、mitie等多种类型的实体抽取,但是发现这些对于英文支持好,对于中文存在很多问题,为此开始自己摸索所有对于实体识别相关的技术,并且通过测试来判断是否适合。
2024-12-06 10:41:02
507
原创 Hugging Face Transformers 几个实体识别模型比较
支持中文的命名实体识别(NER)任务。你可以使用预训练的中文模型,例如。等,它们经过中文数据的微调,可以用于实体识别任务。你可以使用 Hugging Face 的。
2024-11-21 15:13:45
522
原创 解决 npm ERR! code UNABLE_TO_GET_ISSUER_CERT_LOCALLY
npm 安装碰到 npm ERR! code UNABLE_TO_GET_ISSUER_CERT_LOCALLY
2024-11-20 15:54:10
769
原创 在意图识别的时候,如何让问题也参与到意图分类的计算中
如果需要让问题也参与到意图分类的计算中(即问题和答案的语义关系一起影响分类结果),可以通过以下方式实现。这种方式更适合于上下文关联性强的场景,比如根据问题和答案的语义共同决定分类标签。
2024-11-19 15:19:14
168
原创 几个zero-shot-classification 中文模型的比较
zero-shot-classification里面有好几个中文模型,怎么知道哪个模型最好,下面是我对于最简单的问题进行的测试。
2024-11-19 15:12:25
550
1
原创 text-classification 和 zero-shot-classification 区别
需要有明确的标签集合,并且需要在这些标签上进行训练。适用于标签固定且任务清晰的文本分类任务。:不需要训练,可以根据给定的标签进行分类,适用于标签灵活、变化较多或没有标签数据的任务。如果你有一组固定的标签并且能够进行模型微调,是更好的选择。而如果你的标签比较动态或者没有足够的训练数据,提供了更大的灵活性。
2024-11-19 12:14:44
427
原创 拦截PC微信浏览器(视频号)的HTTP请求
什么鬼东西,前面还正常呢,这个太复杂了,也无法后续做成一个拦截服务来进行,还是使用mitmproxy吧,至少是python 写的开源代码,可以二次扩展而且也简单。捣蛋的是BurpSuitePro是Java写的,又去下载了一个jre-1.8,一通配置开始按照说明破解并且启动BurpSuitPro2024.PC。搞死人,又是命令行又是破解,最后还必须通过破解软件界面的”run“启动,一通配置,最后得到了这个界面。)可是这里的两个软件是要导航到一个付费地址,最后在网上折腾了半天,终于搞下来了2个破解版。
2024-09-25 15:23:46
678
原创 提交WSL Ubuntu下已有代码到阿里云效
3、git clone 项目到unbutn 目录下 比如 a.git。1、先开通阿里云效的账号及SSH密码。2、在阿里云云效创建一个项目。
2024-09-10 11:43:01
162
原创 使用阿里funasr作为freeswitch的ASR语音识别服务
要使用unimrcp 必须先编译一个正常的unimrcpserver ,再修改里面的asr语音识别模块。
2024-09-06 15:56:53
4206
原创 wsl ubuntu 下编译freeswitch及unimrcp
1、到ubuntu 下运行下面的命令,安装相关的基础编译包2、安装FreeSWITCH依赖的数据库(如果需要MySQL,请确保先安装MySQL服务器)3、下载freeswitch 最新包进行编译4、安装其它基础类库cd libs(1)安装sofia-sip(2)安装spandsp3) 编译安装libks和signalwire3.1 编译libks3.2 编译signalwire3.3 安装mod_maridb 需要的库#安装Mysql ODBC 依赖cd libswget。
2024-09-04 14:54:54
850
原创 解决找不到site-packages\torch\lib\shm.dll“ or one of its dependencies 问题
在windows下使用 python 11 安装好最新的torch 的时候,导入torch类库,会报ite-packages\torch\lib\shm.dll" or one of its dependencies 错误,这个是由于在安装的时候很多的原始dll都安装到 %AppData%\Roaming\Python\Library\bin 目录下面,因此需要把 %AppData%\Roaming\Python\Library\bin 添加到 Windows的 PATH目录里面,从新启动一个窗口就可以了。
2024-05-11 20:56:04
11164
9
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人