使用JinaEmbeddings进行文本与图像的嵌入实现

原创于 2025-06-23 14:26:30 发布 · 254 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #机器学习

在现代自然语言处理和计算机视觉应用中，嵌入技术扮演着至关重要的角色。Jina提供了一套强大的嵌入服务，能够支持文本和图像的嵌入任务。在这篇文章中，我们将详细讲解如何通过Jina的API实现文本和图像的嵌入，并结合示例代码进行演示。

技术背景介绍

Jina AI是一家专注于AI的公司，它提供的JinaEmbeddings工具可以通过简单的API调用实现文本和图片数据的嵌入功能。嵌入是将高维数据转换为低维向量表示的过程，常用于信息检索、语义搜索等场景。

核心原理解析

JinaEmbeddings利用深度学习模型将输入数据映射为嵌入向量，这些向量在向量空间中保留了原始数据的语义信息，使得相似内容能够在向量空间中相互接近。

代码实现演示

下面我们将展示如何使用JinaEmbeddings进行文本和图像嵌入：

import requests
from langchain_community.embeddings import JinaEmbeddings
from numpy import dot
from numpy.linalg import norm
from PIL import Image

# 文本嵌入示例
text_embeddings = JinaEmbeddings(
    jina_api_key="your-jina-api-key",  # 请替换为您的Jina API密钥
    model_name="jina-embeddings-v2-base-en"
)

text = "This is a test document."
# 获取文本查询嵌入向量
query_result = text_embeddings.embed_query(text)
print("文本查询向量:", query_result)

# 获取文档嵌入向量
doc_result = text_embeddings.embed_documents([text])
print("文本文档向量:", doc_result)

# 图像嵌入示例
multimodal_embeddings = JinaEmbeddings(
    jina_api_key="your-jina-api-key",  # 请替换为您的Jina API密钥
    model_name="jina-clip-v1"
)

image_url = "https://avatars.githubusercontent.com/u/126733545?v=4"
description = "Logo of a parrot and a chain on green background"

# 加载并显示图像
im = Image.open(requests.get(image_url, stream=True).raw)
print("加载的图像:")
im.show()

# 获取图像嵌入向量
image_result = multimodal_embeddings.embed_images([image_url])
print("图像嵌入向量:", image_result)

# 获取描述的嵌入向量
description_result = multimodal_embeddings.embed_documents([description])
print("描述嵌入向量:", description_result)

# 计算图像与描述之间的余弦相似度
cosine_similarity = dot(image_result[0], description_result[0]) / (
    norm(image_result[0]) * norm(description_result[0])
)
print("图像与描述的余弦相似度:", cosine_similarity)