SentenceTransformer('all-MiniLM-L6-v2'),这是基于 Transformer 深度学习模型 的方法,而 Jieba + 传统 NLP 主要依赖规则和统计方法。它们的本质区别主要体现在以下几点:
1. 计算方式的区别
| 方法 | 计算方式 | 本质原理 |
|---|---|---|
| SentenceTransformer (BERT, MiniLM) | 深度学习语义向量 | 句子输入 -> Transformer 编码 -> 生成高维向量 |
| Jieba + 传统 NLP | 基于词的统计方法 | 分词 -> TF-IDF / 词向量(Word2Vec) -> 计算相似度 |
✔ SentenceTransformer 是基于 BERT(或 MiniLM)预训练的 Transformer 模型,能够理解 语义。
✖ Jieba + 传统 NLP 主要依赖 词频、共现关系、TF-IDF,难以处理语义相似性。

最低0.47元/天 解锁文章
1396

被折叠的 条评论
为什么被折叠?



