使用Jina Embeddings进行文本与图像嵌入

最新推荐文章于 2025-06-26 10:10:23 发布

eahba

最新推荐文章于 2025-06-26 10:10:23 发布

阅读量200

点赞数 1

CC 4.0 BY-SA版权

文章标签： jina 人工智能 python

本文链接：https://blog.youkuaiyun.com/eahba/article/details/146450196

在AI技术的发展过程中，嵌入技术被广泛用于文本与图像的表示。在这篇文章中，我将详细介绍如何使用Jina的嵌入模型来进行文本与图像的嵌入。我们将使用JinaAI提供的API进行示例演示，并通过代码实现展示其强大功能。

技术背景介绍

嵌入技术是AI领域中重要的技术之一，它通过将文本或图像转换为高维向量，使机器能够理解和处理数据。Jina Embeddings提供了一种强大的嵌入服务，可以让开发者轻松完成文本和图像的语义嵌入。

核心原理解析

Jina Embeddings通过API调用提供文本和图像的嵌入功能。使用特定模型名，可以生成不同类型的嵌入，例如文本嵌入和多模态嵌入（图像+文本）。嵌入结果可以用于相似性搜索、分类等任务。

代码实现演示

这里，我们将展示如何使用Jina Embeddings进行文本和图像嵌入，并计算它们之间的相似性。

安装必要库

首先，我们需要安装langchain-community库：

pip install -U langchain-community

导入库和初始化Jina Embeddings

现在，我们导入需要的库并初始化Jina Embeddings：

import requests
from langchain_community.embeddings import JinaEmbeddings
from numpy import dot
from numpy.linalg import norm
from PIL import Image

# 初始化文本嵌入服务
text_embeddings = JinaEmbeddings(
    jina_api_key="your-jina-api-key",  # 使用你的Jina API Key
    model_name="jina-embeddings-v2-base-en"  # 模型名
)

text = "This is a test document."

# 嵌入查询文本
query_result = text_embeddings.embed_query(text)

print("查询文本嵌入结果:", query_result)

# 嵌入文档文本
doc_result = text_embeddings.embed_documents([text])

print("文档文本嵌入结果:", doc_result)

多模态嵌入：图像与文本

使用Jina CLIP模型进行图像和文本的嵌入：

# 初始化多模态嵌入服务
multimodal_embeddings = JinaEmbeddings(
    jina_api_key="your-jina-api-key",  # 使用你的Jina API Key
    model_name="jina-clip-v1"  # 多模态模型名
)

image_url = "https://avatars.githubusercontent.com/u/126733545?v=4"
description = "Logo of a parrot and a chain on green background"

# 获取图像
im = Image.open(requests.get(image_url, stream=True).raw)
print("Image:")
im.show()

# 嵌入图像
image_result = multimodal_embeddings.embed_images([image_url])

print("图像嵌入结果:", image_result)

# 嵌入文本描述
description_result = multimodal_embeddings.embed_documents([description])

print("描述文本嵌入结果:", description_result)

# 计算图像和文本描述之间的余弦相似性
cosine_similarity = dot(image_result[0], description_result[0]) / (
    norm(image_result[0]) * norm(description_result[0])
)

print("余弦相似性:", cosine_similarity)