什么是向量化？ElasticSearch如何存储向量？

原创

已于 2025-02-24 14:37:24 修改 · 1.2k 阅读

10 ·

CC 4.0 BY-SA版权

本内容最终版权归csdn博主掉头发的王富贵所有，本文为博主原创文章，未经博主允许不得转载。

文章标签：

#elasticsearch #大数据 #搜索引擎 #AIGC

于 2025-02-21 11:09:23 首次发布

向量化（Vectorization）是一种将数据或操作转换为向量的过程，以便利用并行计算和高效处理。向量化将非数值数据（如文本、图像）转换为数值向量，以便计算机处理。而向量化在AIGC中非常的常见，例如知识库对话等等。如果大家感兴趣，后面专门来聊聊。

向量长什么样？例如：[0.25, -0.1, 0.7]，向量化后的数据通常是一个数值数组

那我们如何将文本向量化呢，有很多种方式，这里我们使用Embedding。

Embedding（嵌入）是一种将高维、离散的数据（如单词、类别、图像等）映射到低维、连续的向量空间的技术。这些向量能够捕捉数据的语义或特征信息，广泛应用于自然语言处理（NLP）、推荐系统和机器学习等领域。

例如通过下面的代码我们可以将文本转换为向量化：

from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
inputs = tokenizer("I love programming", return_tensors="pt")
outputs = model(**inputs)
embeddings = outputs.last_hidden_state  # 获取单词或句子的向量