无监督文本相似度的突发奇想

最新推荐文章于 2025-07-08 16:16:53 发布
原创 最新推荐文章于 2025-07-08 16:16:53 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客指出，若两句话的overlap过小，无监督词汇粒度级别的方法效果可能较差，强调了overlap对该方法的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果两句话的overlap太小，那么无监督词汇粒度级别的方法可能会很差。

【大模型应用篇7】新一代程序员需要掌握的智能体脚手架是？
youbingchen的博客
05-06 2457
在“996”内卷中脱颖而出。》介绍coze平台的大部分组件,dify基本都有,比如工作流、知识库等,不过我觉得比coze平台更具优势的是,用户可以选择更多模型, 不像coze平台仅仅支持云雀和moonshot, 这个给了很多开发者更多的转型dify的冲动, 包括未来可以引入自己公司针对某个领域微调的LLM。现在智能体处于初级阶段，大家可以探索更多应用场景，大家可以关注我的公众号，就可以与他进行对话，起码现在24小时智能客服没啥问题，我也对比了之前方式客服，从使用体验来说，知识库问答和闲聊功能实用性更强。
TiDB Vector 太香啦：以图搜图初体验！
weixin_42241611的博客
05-31 348
在以往，想在关系型数据库中对非结构化数据实现搜索是一件不敢想象的事，哪怕是号称无所不能的 PostgreSQL 在向量插件的加持下也没有获得太多关注，这其中有场景、性能、生态等各方面的因素制约。前有专门的向量数据库阻击，后有各种传统数据库追赶，这注定是一个惨烈的赛道，希望 TiDB 能深度打磨产品，突围成功。向量：向量就是一组浮点数，在编程语言中通常体现为 float 数组，数组的长度叫做维度（dim），维度越大精度越高，向量的数学表示是多维坐标系中的一个点。模型，只是使用模态改成了文本。
【模型复现】无监督文本匹配模型——SimCSE快速复现
m0_60673947的博客
05-17 1903
SimCSE 模型 快速复现教程 01 模型详情 模型简介： SIMCSE是一种用于生成句子嵌入的对比学习框架。它利用了无监督的方法，该方法采用输入句，并以对比目标预测本身，只有标准dropout用作噪声。作者发现dropout行为是隐藏表示的最小“数据增强”，同时删除它导致表示崩溃。之后使用了监督方法将注释对从自然语言推理数据集中包含到对比框架中。 关键词：无监督 应用场景：文本匹配 结构： 论文地址： https://arxiv.org/abs/2104.0882..
无监督语义相似度
qq_20849045的博客
10-28 1027
没有成对的文本，如何计算语义相似度 １. bert方面的坑 bert计算出来句子之间的相似度很接近，在我的数据集上finetune之后稍微好一点点，用的是cls的输出直接作为句子的向量，然后计算cosine，结果有点翻车，主要问题在： 句子之间的距离都很近 句子的长短也会影响，相同长度的句子之间距离更接近。针对这个问题，我有尝试把每个字的字向量加起来处以字符数量，但是发现还是一样 后来，看了一个知乎的回答，原文：https://www.zhihu.com/question/354129879 用字
卷积神经网络（CNN）
最新发布
m0_54570435的博客
07-08 1001
卷积神经网络（Convolutional Neural Network, CNN）是一种专门用于处理网格状数据（如图像、视频、音频、时间序列）的深度学习模型。其核心思想是通过局部连接、权重共享和层次化特征提取，自动学习数据的空间或时间层次结构。生物学基础：受视觉皮层中神经元只响应局部刺激的启发数学实现：每个神经元仅与前一层局部区域连接（而非全连接）优势：大幅减少参数量（如5×5局部连接 vs 全连接）保留空间局部相关性适合处理平移不变特征原理：同一卷积核在输入的不同位置使用相同参数计算优势：参数量从O(n²
无监督文本相识度
爱吃火锅的博客
11-04 3898
我们在进行一些nlp任务时，一般需要得到句子的vec编码，一般会试一试bert系列，但是这是有前提的，要fintune! 要fintune！ 如果想直接“拿来主义”，直接加载公布的pretrain模型来获得vec编码，可能并达不到我们的预期。 这里做了两个实验 一个使用bert的实验结果，这是网上大多数的例子，可以看到“啦啦啦啦啦啦”和“天空为什么是蓝色的”相似度（余弦相似度）依然很高 一个是百度ernie的实验结果，这里极端了一点，可以看到标点和文本依然具有很高的相识度。 所以 （1）
【NLP】非监督文本匹配算法——BM25
让算法融入生活，改变生活！
04-16 3077
背景 在信息搜索中，我们做的第一步就是检索。对于文本检索中，第一步就是数据库中的内容与检索的内容进行匹配，符合匹配要求的话就根据相关业务处理。 在NLP中，我们可以认为是要让机器去理解检索内容，然后从现有数据库中返回对应内容。从这看文本匹配就是NLU（Nature Language Understand ,自然语言理解）中的核心内容了。 再延展一下，搜索这项功能在我们生活中也是太多太多。大众一点就是搜索引擎，商品搜索等，在问题系统中可以匹配相似的问题，然后返回对应答案等。 文本匹配包括监督学习方法以及非监督
【机器学习】聚类知识：无监督学习聚类、相似度指标、K-Mediods、K-Means算法、K-Means++、Canopy聚类算法、聚类算法评估指标、轮廓系数、层次聚类、密度聚类、谱和谱聚类
Cherry的博客
06-02 1703
无监督学习聚类：按照相似度对数据进行聚簇（cluster）划分，N个样本映射到K个簇中，每个簇至少有一个样本，一个样本只能属于一个簇，先给定一个初始划分，迭代改变样本和簇的关系，聚类的副产品可以做异常值检测 相似度指标有： 多维空间向量点之间的距离（闵可夫斯基距离公式）： 当p为2时即欧式距离（二维空间距离公式）： 当p为1时即曼哈顿距离（Block Distance） 三维空间距离公式： ...
文本聚类算法
James_bobo的博客
08-11 6229
1 聚类思想 聚类是一种无监督学习。也就是说，聚类是在预先不知道欲划分类的情况下，根据信息相似度原则进行信息聚类的一种方法。聚类的思想是使得属于同类别的对象之间的差别尽可能的小，而不同类别上的对象的差别尽可能的大。与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空 间区分规则来定义组。常见的聚类算法包括：K-均值聚类算法、K-中心点聚类算法、CLARANS、BIRCH、CLIQUE、DBSCAN等。 2 文本聚类一般步骤 2.1 文本表示（Text Representatio
通义模型Prompt调优的实用技巧
sdfghwijiebvnd的博客
09-25 1854
Prompt 是用户与大语言模型交互的起始点，它告诉模型用户的意图，并且期望模型能以有意义且相关的方式回应。当我们希望大语言模型去完成一些较为复杂的任务时，Prompt的质量决定了大语言模型能否有好的回复。通过精心设计的prompt，我们能够有效地指引大型语言模型（LLM），深化其对用户需求的理解层次，从而激发更加精准且实用的回应生成。
每天一篇自然语言处理论文：202003
will680的博客
03-11 956
1 说明 这些日子，开始养成看论文的习惯，也参加了AI研习社推荐论文的活动，其中一些推荐了但是未被采纳的论文，担心自己忘了，有点可惜，便想记录在博客上 2 文章列表 202003 Beat the AI: Investigating Adversarial Human Annotations for Reading Comprehension https://arxiv.org/pdf/200...
句子匹配 无监督_在无监督的情况下创建可解释的句子表示形式
weixin_26632369的博客
07-21 601
句子匹配 无监督 重点 (Top highlight) TL; DR (TL;DR) To date, models learn fixed size representation of sentences, typically with some form of supervision, which are then used for sentence similarity or other d...
短文本相似度算法
热门推荐
ling620的专栏
07-15 1万+
目录 一、无监督方法 1、余弦相似度度量 1.1 基于TF-IDF计算词频向量 1.2 基于Word2Vec计算词向量 2、基于simHash计算文本相似度 3、直接度量句子间相似度—WMD 二、有监督方法 一、无监督方法 1、余弦相似度度量 基本思想： 获取两个短文本的表示向量 计算两个向量的余弦相似度 值越大，表示越相似 文本表示方法： 通过TF-ID...
【短文本】短文本相似度算法研究
fengdu78的博客
03-15 4459
公众号关注“ML_NLP”设为 “星标”，重磅干货，第一时间送达！机器学习算法与自然语言处理出品@公众号原创专栏作者 刘聪NLP学校 |NLP算法工...
词语之间的语义相似度怎么算_全面梳理文本相似度/匹配-附代码-深度好文-不容错过...
weixin_39958248的博客
11-24 1642
微信公众号：NLP从入门到放弃本文涉及到的代码：https://github.com/DA-southampton/NLP_ability/blob/master/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/%E6%96%87%E6%9C%AC%E5%8C%B9...
OpenAI GPT成全了最强BERT：无监督自然语言模型技术总结
zhufenghao
02-14 2171
Google提出的BERT（Bidirectional Encoder Representations from Transformers）是现在自然语言处理领域里当之无愧的王者，但是在阅读这篇文献的时候，总有一种和传统自然语言技术断层的感觉。通过研究OpenAI GPT后才恍然大悟，原来这才是其中的桥梁：BERT的思想启发自OpenAI GPT，并应用了transformer的强大处理能力，结合了更多的训练数据、更巧妙的训练手段，才取得了现在这样好的效果。这里就对OpenAI GPT和BERT共同依赖的无
文本相似度计算
weixin_47046791的博客
05-11 249
一：相似度计算的两种方式 import difflib def string_similar(s1, s2): return difflib.SequenceMatcher(None, s1, s2).quick_ratio() # for i in range(len(data4_message)): # s1 = data4_message[i] # s2 = data4_answer[i] # print(string_similar(s1, s2)) de.
无监督文本自动摘要野生技术
weixin_34232363的博客
09-19 626
前言 本文简单介绍文本自动摘要的概念，提供一些简单可行的思路和解决方法，主要功能是记录一些心得和希望读者能得到一些启发。现阶段有监督的文本自动摘要，存在非常成熟和强大的解决方法，奈何巧妇难为无米之炊，没有人工的摘要标记，有监督的方法寸步难行。在缺少标记数据的情况下，无监督的方法更加实用。 基本概念 什么是文本自动摘要？ Automatic text summarization is the ta...
NLP点滴——文本相似度
weixin_30745641的博客
12-06 2889
目录 前言 字面距离 common lang库 相同字符数 莱文斯坦距离(编辑距离) 定义 实现方式 Jaro距离 定义 实现方式 应用 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值