嵌入向量（Embedding Vector）

最新推荐文章于 2025-06-30 21:57:13 发布

seejoy

最新推荐文章于 2025-06-30 21:57:13 发布

阅读量1.2k

点赞数 23

CC 4.0 BY-SA版权

文章标签： embedding

本文链接：https://blog.youkuaiyun.com/seejoy/article/details/145690491

嵌入向量（Embedding Vector）是一种将文本或其他数据类型转换为高维向量的技术，这些向量能够捕捉数据的语义信息。在自然语言处理（NLP）中，嵌入向量广泛应用于文本表示、相似度计算和语义理解等任务。

1. 什么是嵌入向量？

嵌入向量是一种将文本或其他数据类型映射到高维空间中的向量表示。这些向量不仅能够表示数据的结构信息，还能够捕捉数据的语义信息。例如，两个语义相似的文本在嵌入向量空间中通常会更接近。

2. 嵌入向量的生成方法

嵌入向量的生成通常依赖于预训练的模型，这些模型通过大量的文本数据进行训练，学习如何将文本映射到高维向量空间。以下是一些常见的生成方法：

2.1 预训练语言模型（Pre-trained Language Models）

预训练语言模型如BERT、GPT、RoBERTa等，通过大量的文本数据进行无监督学习，学习语言的语义和语法结构。这些模型可以生成高质量的嵌入向量。
BERT（Bidirectional Encoder Representations from Transformers）：
输入：文本序列（如句子或段落）。
过程：BERT使用双向Transformer架构，能够捕捉上下文信息。它通过Masked Language Model（MLM）任务和Next Sentence Prediction（NSP）任务进行预训练。
输出：每个输入词或子词（subword）对应的嵌入向量。

示例：

from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = mod