深入了解DeepInfra：利用LangChain进行文本嵌入的实战指南-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/143670309

引言

在现代自然语言处理(NLP)领域，文本嵌入是一项不可或缺的技术。DeepInfra以其无服务器的推理服务，提供了一系列强大的语言模型(LLMs)和嵌入模型，为开发者简化了实现复杂NLP技术的过程。本篇文章将重点介绍如何利用LangChain与DeepInfra进行文本嵌入，从而提升文本分析的能力。

主要内容

1. DeepInfra的简介

DeepInfra是一种无服务器推理服务，提供对多种大型语言模型和嵌入模型的访问。它能够帮助开发者在不需要管理复杂基础设施的情况下，轻松地将AI功能集成到应用中。

2. LangChain与DeepInfra的结合

LangChain是一个用于构建可组合的编码工具链的框架，非常适合用于处理自然语言。这篇文章将展示如何利用LangChain中的DeepInfraEmbeddings类进行文本嵌入。

代码示例

以下是一个使用LangChain与DeepInfra进行文本嵌入的完整代码示例：

# 先注册一个DeepInfra账户：https://deepinfra.com/login?utm_source=langchain

from getpass import getpass

# 获取DeepInfra API令牌
DEEPINFRA_API_TOKEN = getpass()

import os

# 设置环境变量以便API访问
os.environ["DEEPINFRA_API_TOKEN"] = DEEPINFRA_API_TOKEN

from langchain_community.embeddings import DeepInfraEmbeddings

# 初始化DeepInfra嵌入类
embeddings = DeepInfraEmbeddings(
    model_id="sentence-transformers/clip-ViT-B-32",
    query_instruction="",
    embed_instruction="",
)

docs = ["Dog is not a cat", "Beta is the second letter of Greek alphabet"]
# 对文档进行嵌入
document_result = embeddings.embed_documents(docs)

query = "What is the first letter of Greek alphabet"
# 对查询进行嵌入
query_result = embeddings.embed_query(query)

import numpy as np

query_numpy = np.array(query_result)
# 计算每个文档与查询的余弦相似度
for doc_res, doc in zip(document_result, docs):
    document_numpy = np.array(doc_res)
    similarity = np.dot(query_numpy, document_numpy) / (
        np.linalg.norm(query_numpy) * np.linalg.norm(document_numpy)
    )
    print(f'Cosine similarity between "{doc}" and query: {similarity}')
# 使用API代理服务提高访问稳定性

输出结果

Cosine similarity between "Dog is not a cat" and query: 0.7489097144129355
Cosine similarity between "Beta is the second letter of Greek alphabet" and query: 0.9519380640702013