Transformer实战（23）——使用SBERT进行文本聚类与语义搜索

已于 2025-11-27 17:20:00 修改
阅读量1.7k 收藏 83
点赞数 116
CC 4.0 BY-SA版权
分类专栏： Transformer从入门到项目实战 文章标签： transformer 聚类 深度学习 pytorch
于 2025-10-27 08:47:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LOVEmy134611/article/details/147907242

Transformer实战（23）——使用SBERT进行文本聚类与语义搜索

0. 前言

我们已经学习了如何利用在 NLI (Natural Language Inference) 数据集上微调模型进行零样本学习。接下来，将学习如何通过语义文本聚类 (Text Clustering) 和语义搜索 (Semantic Search) 进行少样本或单样本学习。

1. 使用 SBERT 进行文本聚类

对于聚类算法，我们需要一个适合文本相似性的模型。本节将使用 paraphrase-distilroberta-base-v1 模型。首先加载 Amazon Polarity 数据集，用于文本聚类。该数据集包含从亚马逊网站上收集的超过 3500 万条评论，其中包括包括产品信息、用户信息、用户评分和用户评价。

1.1 文本聚类

(1) 首先，随机打乱数据，从中选择 10000 条评论：

import pandas as pd
了解本专栏 订阅专栏 解锁全文
Transformer实战（12）——基于Transformer的文本到文本模型
盼小辉丶的博客
08-18 4604
本文介绍了基于 Transformer 架构的两类重要模型。T5 通过文本到文本框架，将多样化自然语言处理 (Natural Language Processing, NLP) 任务统一转化为序列生成问题，实现了高效的多任务学习。其核心在于通过任务指令提示 (prompt) 和统一输入输出格式，使单一模型能够处理翻译、分类、摘要等不同任务。BART 则采用了独特的去噪自编码方法，通过多种文本破坏策略(如词元掩码、句子重排等)预训练模型，在文本生成任务中表现出色。
CORD-19-ANN：ANN使用SBERT搜索COVID CORD-19数据集
01-31
CORD-19-ANN 此仓库包含脚本和模型，可通过或使用嵌入来搜索 。 句子嵌入不是搜索的理想选择（请参阅），但是可以提供基本搜索功能无法提供的数据洞察力。 仍有改进相关文档检索的空间。 我们并不精通医学领域，因此我们强烈建议您以问题/ PR的形式提供任何反馈或改进！ 我们提供了预训练的模型和FAISS索引，可按照以下说明启动您自己的服务器。 最后，我们提供了一个前端，可用于搜索数据集并通过UI提取信息。 可以在找到前端的说明和安装。 我们目前正在gcp实例上托管服务器，如果有人可以为更永久的托管解决方案做出贡献，将不胜感激。 安装 资源 我们假设您已经从安装了PyTorch和必要的CUDA软件包。 我们建议使用Conda来简化安装。 # Install FAISS conda install faiss-cpu -c pytorch # Other instructions can be found at https://github.com/facebookresearch/faiss/blob/master/INSTALL.md git clone https://
文本聚类！
ASS-ASH的博客
08-29 1万+
目录 第10章 文本聚类 10.1 概述 10.2 文档的特征提取 10.3 k均值算法 10.4 重复二分聚类算法 10.5 标准化评测 10.6 总结 第10章 文本聚类 上一章我们在字符、词语和句子的层级上应用了一些无监督学习方法。这些方法可以自动发现字符与字符、词语与词语、乃至句子与句子之间的联系，而不需要标注语料。同样，在文档层级上，无监督方法也可以在缺乏标注数据的条件下自动找出文档与文档之间的关联。 正所谓物以类聚，人以群分。人类获取并积累信息时常常需要整理数据，将相..
NLP实践——基于SBERT的语义搜索，语义相似度计算，SimCSE、GenQ等无监督训练
热门推荐
weixin_44826203的博客
08-23 1万+
基于SBERT的语义搜索，语义相似度计算，SimCSE、GenQ等无监督训练0. 由SBERT引发的一些思考1. SBERT介绍2. 基本应用2.1 语义相似度计算2.2 语义搜索2.3 召回重排2.4 聚类和主题模型2.5 图片检索3. 无监督方法的训练3.1 SimCSE3.2 TSDAE3.3 GenQ3.4 CT 0. 由SBERT引发的一些思考 今年年初对比学习在深度学习领域广受关注，尤其是SimCSE等方法，在无监督和小样本的场景下取得了很大的成功。无论是Sentence Bert还是SimCS
Transformer实战（22）——使用FLAIR进行语义相似性评估
盼小辉丶的博客
10-13 1804
在自然语言处理中，句子表示的质量直接影响下游任务(如语义检索、文本聚类)的效果。在本节中，我们将通过 FLAIR 库对句子表示模型进行定性评估，该库极大地简化了获取文档嵌入的过程，系统评估四种主流句子嵌入方法——平均池化、循环神经网络编码、BERT 嵌入及 SBERT 嵌入，揭示其语义区分能力。
Transformer实战（15）——使用PyTorch微调Transformer语言模型
盼小辉丶的博客
08-27 1691
本节通过 DistilBert 的微调，介绍了使用 PyToch 从加载预训练模型、手动构建优化器，到实现前向与反向传播、管理梯度，展示了使用 PyTorch 微调 Transformer 语言模型的完整流程。我们演示了如何定义 Dataset 与 DataLoader，并利用 SST-2 数据集完成多轮训练与评估，最终取得约 90.94% 的验证准确率。
Transformer实战（5）——Hugging Face环境配置与应用详解
盼小辉丶的博客
06-20 8736
本文详细介绍 Transformer 模型的实践应用全流程。首先讲解基于 Anaconda 的环境配置，包括 transformers 库安装及 hf-mirror 镜像加速方案。然后以 BERT 为例，演示分词器使用、文本编码及 fill-mask 等任务实现，对比 PyTorch/TensorFlow 框架差异。接着展示 Hugging Face 社区模型应用，包括 GPT-2 文本生成和零样本分类。最后扩展至多模态领域，使用 CLIP 模型实现零样本图像分类。
Transformer实战（16）——微调Transformer语言模型用于多类别文本分类
盼小辉丶的博客
09-04 2370
本节介绍了如何在少量样本下高效微调多分类 Transformer 模型，使用微调 BERTurk 模型在土耳其语新闻数据集上取得了约 93.0% 的测试准确率和 92.99% 的宏平均 F1 分数，详细介绍了数据划分、自定义 MyDataset 实现、训练循环与 Trainer 用法，以及如何使用 pipeline 快速进行推理。
Transformer实战——使用BERTopic进行主题建模
盼小辉丶的博客
11-03 1419
主题词是指在语义空间中，与主题向量接近的词汇。在本节中，我们没有对语料库进行聚类，而是将该技术应用于整个语料库。在使用 SBERT 进行文本聚类与语义搜索一节中，我们通过选择与聚类中心最接近的句子来分析聚类。在本节中，我们学习如何通过将主题模型分别应用于每个聚类来找到主题。
KNN分类器与K-means无监督聚类详解
Younai2021的博客
12-01 345
摘要：本文介绍了KNN分类器和KMeans聚类算法的原理与实现。KNN是有监督分类方法，通过计算新样本与K个最近邻样本的距离进行多数投票分类。KMeans是无监督聚类算法，通过迭代更新聚类中心将数据分成K个簇。文章提供了两种算法的Python实现代码：KNN通过欧氏距离和投票机制实现分类；KMeans通过随机初始化中心点、计算距离和重新计算中心点完成聚类。两种算法都展示了机器学习中距离计算的核心思想。
基于自适应分水岭和亲和传播聚类的彩色图像分割
ytttr873的博客
12-04 566
基于自适应分水岭和亲和传播聚类的彩色图像分割MATLAB实现，结合了两种算法的优势，能够有效处理复杂场景的图像分割问题。
【聚类算法】高维数据的聚类
最新发布
RickyWasYoung的博客
12-04 209
设原本聚类数是4，目标聚类数也是4。
【机器学习】26 聚类
weixin_54010404的博客
12-02 1112
本文介绍了无监督学习中的K-means聚类算法。K-means通过迭代优化失真函数，将数据点分配到K个簇中。算法步骤包括：随机初始化簇质心、点分配和重新计算质心。关键要点是：1）随机选择样本点作为初始质心；2）通过多次随机初始化寻找更优解；3）聚类数K的选择需结合实际应用，可采用ELBO方法或权衡成本与效果。K-means适用于图像压缩等多种场景，通过优化欧式距离实现数据自动分组。
单细胞测序分析（五）降维聚类&数据整合
2401_89507557的博客
12-02 1066
FindNeighbors 函数用于计算数据集中每个细胞的 k 个最近邻居，并可选构建共享近邻图（SNN），通过计算每个细胞和其 k 个最近邻居之间的邻域重叠（Jaccard 指数）来实现。作为科研创新的一部分，我们还为用户提供免费的AI技术服务，帮助您在数据分析、预测建模等方面提升研究效率，为您的科研成果加速赋能。4.海量实用脚本资源：即拿即用，效率翻倍。计算资源：如果计算资源有限，RPCAIntegration 是一个高效的选择，而 scVIIntegration 适合在有 GPU 资源时使用。
【人工智能】【深度学习】④ Stable Diffusion核心算法解析：从DDPM到文本生成图像的飞跃
xiezhiyi007的专栏
12-02 1389
Stable Diffusion是AI绘画领域的革命性技术，其核心基于扩散模型：通过"拆快递"式的噪声添加（前向扩散）和"拼乐高"式的逐步去噪（逆向过程），实现从噪声到图像的构建。本文用快递分拣、乐高拼装等生活化类比，解析CLIP文本编码器（翻译文字指令）、VAE（图像压缩）和U-Net（智能拼图）三大核心组件。相比传统GAN模型，它避免模式崩溃，提升语义理解能力，成为文本生成图像的黄金标准。通过代码与架构图解析，帮助开发者快速掌握这项技术的核心逻辑。
深度学习理论推导--多元线性回归
weixin_43719312的博客
12-02 766
本文介绍了多元线性回归的矩阵表示与求解方法。首先通过矩阵运算展示了如何从一元线性回归扩展到多元情形，推导出预测值的矩阵表达式。然后定义了残差平方和(RSS)的矩阵形式。最后详细阐述了利用链式法则对参数求导的过程，说明如何通过最小化残差平方和来求解最优参数。全文以矩阵运算为核心，展示了多元线性回归的简洁数学表达和求解思路。
深度学习理论推导--梯度下降法
weixin_43719312的博客
12-02 949
本文通过小猪体重增长的例子，生动解释了梯度下降法的原理。首先回顾线性回归的求解方法（最小二乘法和正规方程），指出非线性问题的局限性。然后以二元函数z=1+x+2y为例，通过微分推导证明：在微观尺度下，当增量方向与梯度方向一致时，函数增长最快。文中详细分析了不同方向上的增量变化，并用向量运算说明梯度方向的重要性。最后指出梯度向量∇z=[1,2]^T即为函数增长最快的方向，为后续讲解梯度下降法奠定了基础。
Sentence Transformers实战教程：语义搜索与文本聚类应用
Sentence Transformers（SBERT）是一种基于Transformer架构的深度学习模型，专门用于生成高质量的句子嵌入（sentence embeddings），从而实现语义层面的文本表示与比较。该技术的核心思想是通过预训练语言模型（如...
评论 71
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值