在本教程中,Jina将用于构建跨模态的搜索应用程序。
在Jina框架的支持下,应用程序使用了Open AI的最新自然语言模型CLIP:CLIP可将一段文本或一张图片编码为512维向量。通过向量的相似度比较,可使用文字描述对图片进行搜索;也可以使用图片对相应的文字描述进行搜索。
让我们看看程序的整体框架:
在索引过程中,我们将数据集中的所有图像和文本编码为向量,并创建这些向量的索引。
在搜索过程中,当我们输入文本时,首先计算该文本的向量表示。与索引过程不同
在本教程中,Jina将用于构建跨模态的搜索应用程序。
在Jina框架的支持下,应用程序使用了Open AI的最新自然语言模型CLIP:CLIP可将一段文本或一张图片编码为512维向量。通过向量的相似度比较,可使用文字描述对图片进行搜索;也可以使用图片对相应的文字描述进行搜索。
让我们看看程序的整体框架:
在索引过程中,我们将数据集中的所有图像和文本编码为向量,并创建这些向量的索引。
在搜索过程中,当我们输入文本时,首先计算该文本的向量表示。与索引过程不同