无监督文本相似度的突发奇想

最新推荐文章于 2025-07-08 16:16:53 发布
原创 最新推荐文章于 2025-07-08 16:16:53 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客指出，若两句话的overlap过小，无监督词汇粒度级别的方法效果可能较差，强调了overlap对该方法的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果两句话的overlap太小，那么无监督词汇粒度级别的方法可能会很差。

【大模型应用篇7】新一代程序员需要掌握的智能体脚手架是？
youbingchen的博客
05-06 2457
在“996”内卷中脱颖而出。》介绍coze平台的大部分组件,dify基本都有,比如工作流、知识库等,不过我觉得比coze平台更具优势的是,用户可以选择更多模型, 不像coze平台仅仅支持云雀和moonshot, 这个给了很多开发者更多的转型dify的冲动, 包括未来可以引入自己公司针对某个领域微调的LLM。现在智能体处于初级阶段，大家可以探索更多应用场景，大家可以关注我的公众号，就可以与他进行对话，起码现在24小时智能客服没啥问题，我也对比了之前方式客服，从使用体验来说，知识库问答和闲聊功能实用性更强。
TiDB Vector 太香啦：以图搜图初体验！
weixin_42241611的博客
05-31 348
在以往，想在关系型数据库中对非结构化数据实现搜索是一件不敢想象的事，哪怕是号称无所不能的 PostgreSQL 在向量插件的加持下也没有获得太多关注，这其中有场景、性能、生态等各方面的因素制约。前有专门的向量数据库阻击，后有各种传统数据库追赶，这注定是一个惨烈的赛道，希望 TiDB 能深度打磨产品，突围成功。向量：向量就是一组浮点数，在编程语言中通常体现为 float 数组，数组的长度叫做维度（dim），维度越大精度越高，向量的数学表示是多维坐标系中的一个点。模型，只是使用模态改成了文本。
【模型复现】无监督文本匹配模型——SimCSE快速复现
m0_60673947的博客
05-17 1903
SimCSE 模型 快速复现教程 01 模型详情 模型简介： SIMCSE是一种用于生成句子嵌入的对比学习框架。它利用了无监督的方法，该方法采用输入句，并以对比目标预测本身，只有标准dropout用作噪声。作者发现dropout行为是隐藏表示的最小“数据增强”，同时删除它导致表示崩溃。之后使用了监督方法将注释对从自然语言推理数据集中包含到对比框架中。 关键词：无监督 应用场景：文本匹配 结构： 论文地址： https://arxiv.org/abs/2104.0882..
无监督语义相似度
qq_20849045的博客
10-28 1027
没有成对的文本，如何计算语义相似度 １. bert方面的坑 bert计算出来句子之间的相似度很接近，在我的数据集上finetune之后稍微好一点点，用的是cls的输出直接作为句子的向量，然后计算cosine，结果有点翻车，主要问题在： 句子之间的距离都很近 句子的长短也会影响，相同长度的句子之间距离更接近。针对这个问题，我有尝试把每个字的字向量加起来处以字符数量，但是发现还是一样 后来，看了一个知乎的回答，原文：https://www.zhihu.com/question/354129879 用字
卷积神经网络（CNN）
最新发布
m0_54570435的博客
07-08 973
卷积神经网络（Convolutional Neural Network, CNN）是一种专门用于处理网格状数据（如图像、视频、音频、时间序列）的深度学习模型。其核心思想是通过局部连接、权重共享和层次化特征提取，自动学习数据的空间或时间层次结构。生物学基础：受视觉皮层中神经元只响应局部刺激的启发数学实现：每个神经元仅与前一层局部区域连接（而非全连接）优势：大幅减少参数量（如5×5局部连接 vs 全连接）保留空间局部相关性适合处理平移不变特征原理：同一卷积核在输入的不同位置使用相同参数计算优势：参数量从O(n²
无监督文本相识度
爱吃火锅的博客
11-04 3898
我们在进行一些nlp任务时，一般需要得到句子的vec编码，一般会试一试bert系列，但是这是有前提的，要fintune! 要fintune！ 如果想直接“拿来主义”，直接加载公布的pretrain模型来获得vec编码，可能并达不到我们的预期。 这里做了两个实验 一个使用bert的实验结果，这是网上大多数的例子，可以看到“啦啦啦啦啦啦”和“天空为什么是蓝色的”相似度（余弦相似度）依然很高 一个是百度ernie的实验结果，这里极端了一点，可以看到标点和文本依然具有很高的相识度。 所以 （1）
【NLP】非监督文本匹配算法——BM25
让算法融入生活，改变生活！
04-16 3076
背景 在信息搜索中，我们做的第一步就是检索。对于文本检索中，第一步就是数据库中的内容与检索的内容进行匹配，符合匹配要求的话就根据相关业务处理。 在NLP中，我们可以认为是要让机器去理解检索内容，然后从现有数据库中返回对应内容。从这看文本匹配就是NLU（Nature Language Understand ,自然语言理解）中的核心内容了。 再延展一下，搜索这项功能在我们生活中也是太多太多。大众一点就是搜索引擎，商品搜索等，在问题系统中可以匹配相似的问题，然后返回对应答案等。 文本匹配包括监督学习方法以及非监督
【机器学习】聚类知识：无监督学习聚类、相似度指标、K-Mediods、K-Means算法、K-Means++、Canopy聚类算法、聚类算法评估指标、轮廓系数、层次聚类、密度聚类、谱和谱聚类
Cherry的博客
06-02 1703
无监督学习聚类：按照相似度对数据进行聚簇（cluster）划分，N个样本映射到K个簇中，每个簇至少有一个样本，一个样本只能属于一个簇，先给定一个初始划分，迭代改变样本和簇的关系，聚类的副产品可以做异常值检测 相似度指标有： 多维空间向量点之间的距离（闵可夫斯基距离公式）： 当p为2时即欧式距离（二维空间距离公式）： 当p为1时即曼哈顿距离（Block Distance） 三维空间距离公式： ...
文本聚类算法
James_bobo的博客
08-11 6229
1 聚类思想 聚类是一种无监督学习。也就是说，聚类是在预先不知道欲划分类的情况下，根据信息相似度原则进行信息聚类的一种方法。聚类的思想是使得属于同类别的对象之间的差别尽可能的小，而不同类别上的对象的差别尽可能的大。与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空 间区分规则来定义组。常见的聚类算法包括：K-均值聚类算法、K-中心点聚类算法、CLARANS、BIRCH、CLIQUE、DBSCAN等。 2 文本聚类一般步骤 2.1 文本表示（Text Representatio
通义模型Prompt调优的实用技巧
sdfghwijiebvnd的博客
09-25 1853
Prompt 是用户与大语言模型交互的起始点，它告诉模型用户的意图，并且期望模型能以有意义且相关的方式回应。当我们希望大语言模型去完成一些较为复杂的任务时，Prompt的质量决定了大语言模型能否有好的回复。通过精心设计的prompt，我们能够有效地指引大型语言模型（LLM），深化其对用户需求的理解层次，从而激发更加精准且实用的回应生成。
每天一篇自然语言处理论文：202003
will680的博客
03-11 956
1 说明 这些日子，开始养成看论文的习惯，也参加了AI研习社推荐论文的活动，其中一些推荐了但是未被采纳的论文，担心自己忘了，有点可惜，便想记录在博客上 2 文章列表 202003 Beat the AI: Investigating Adversarial Human Annotations for Reading Comprehension https://arxiv.org/pdf/200...
句子匹配 无监督_在无监督的情况下创建可解释的句子表示形式
weixin_26632369的博客
07-21 601
句子匹配 无监督 重点 (Top highlight) TL; DR (TL;DR) To date, models learn fixed size representation of sentences, typically with some form of supervision, which are then used for sentence similarity or other d...
短文本相似度算法
热门推荐
ling620的专栏
07-15 1万+
目录 一、无监督方法 1、余弦相似度度量 1.1 基于TF-IDF计算词频向量 1.2 基于Word2Vec计算词向量 2、基于simHash计算文本相似度 3、直接度量句子间相似度—WMD 二、有监督方法 一、无监督方法 1、余弦相似度度量 基本思想： 获取两个短文本的表示向量 计算两个向量的余弦相似度 值越大，表示越相似 文本表示方法： 通过TF-ID...
【短文本】短文本相似度算法研究
fengdu78的博客
03-15 4459
公众号关注“ML_NLP”设为 “星标”，重磅干货，第一时间送达！机器学习算法与自然语言处理出品@公众号原创专栏作者 刘聪NLP学校 |NLP算法工...
词语之间的语义相似度怎么算_全面梳理文本相似度/匹配-附代码-深度好文-不容错过...
weixin_39958248的博客
11-24 1642
微信公众号：NLP从入门到放弃本文涉及到的代码：https://github.com/DA-southampton/NLP_ability/blob/master/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/%E6%96%87%E6%9C%AC%E5%8C%B9...
基于LDA模型的非监督分类算法介绍
晚来天欲雪，能饮一杯无？
02-04 1743
基于LDA（Latent Dirichlet Allocation）模型的非监督分类算法，将LDA模型从文本分析的应用过渡到遥感高分辨率影像处理的应用，利用Gibbs采样方法设计基于LDA模型的非监督分类算法，并使用IDL语言实现。在一定程度上解决了非监督分类中“同谱异物”问题，且取得了较好的精度。
[NLP] 中文文本相似度实战
YasinQiu的博客
04-07 7229
原文: https://blog.youkuaiyun.com/github_36326955/article/details/54891204 1. 计算文本相似度的常用算法 (1) 基于词向量: 余弦相似度, 曼哈顿距离, 欧几里得距离, 明式距离(是前两种距离测度的推广) (2) 基于字符: 编辑距离, simhash(适用于海量数据), 共有字符数(有点类似 onehot 编码, 直接统计两...
Bert做不好无监督文本匹配的原因找到了！！
zenRRan的博客
12-04 1616
来自：NLP从入门到放弃今天分享的论文解决了我很久以来的一个疑惑，名字叫做：On the Sentence Embeddings from Pre-trained Language Mo...
基于gensim模块的中文句子相似度计算工具
wds2006sdo的专栏
04-05 1万+
概述 中文句子相似度的计算有很多模型，我们使用 TFIDF , LSI 与 LDA 模型 这3中模型更加适用于文章相似度的计算 对于句子来说，长度太短，正确率相对不高 算法及代码 具体这几种模型的原理介绍可以参考别人的博客（如果我有时间就找找） gensim包提供了这几个模型，因此我们直接拿来用就好 我将这个模型进行了简单的封装，包括增加了中文分词分句，并提供清晰简洁的API
高效文本相似度分析工具介绍
标题“文本相似度计算器”涉及到的关键知识点可以概括为以下几个方面： 1. 文本相似度的定义和应用领域： 文本相似度指的是两段或多段文本之间内容的相似程度。它是自然语言处理（NLP）中的一个重要概念，广泛应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值