【RAG入门教程】Langchian的Embedding介绍与使用

Embedding介绍

词向量是 NLP 中的一种表示形式，其中词汇表中的单词或短语被映射到实数向量。它们用于捕获高维空间中单词之间的语义和句法相似性。

在词嵌入的背景下，我们可以将单词表示为高维空间中的向量，其中每个维度对应一个特定的特征，例如“生物”、“猫科动物”、“人类”、“性别”等。每个单词在每个维度上都分配有一个数值，通常在 -1 到 1 之间，表示该词与该特征的关联程度。

例如，“猫”这个词在“猫科动物”维度上可能具有较高的正值，而在“人类”维度上具有接近于零的值，这反映了它与猫科动物的紧密关联性，而与人类的关联性较低。

这种数值表示使我们能够捕捉单词之间的语义关系并对其执行数学运算，例如计算单词之间的相似度或将其用作 NLP 任务中 ML 模型的输入。

LangChain 可容纳来自不同来源的多种嵌入。

OpenAI

代码语言：javascript

import os
os.environ["OPENAI_API_KEY"] = "your-key"


from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

text = "Text"

text_embedding = embeddings.embed_query(text)

print(text_embedding)

"""
[-0.0006077770551231004,
 -0.02036312831034526,
 0.0015661947077772864,
 -0.0008398058726938265,
 0.00801365303172794,
 0.01648443640533639,
 -0.015071485112588635,
 -0.006794635682304868,
 -0.009232670381151012,
 -0.004512441507728793,
 0.00296615975583046,
 0.02781575545470095,
 -0.004290802116650396,
 0.009204965399058554,
 -0.007286398183123463,
 0.01896402857732122,
 0.03457576177203527,
 0.01469746878566298,
 0.03812199202928964,
 -0.033024282774857694,
 -0.014143370075136358,
 -0.0016640276929606461,
 -0.00023289462736494386,
 -0.00985