- 本文使用的是onnx 模型,因为transformer 的调用 有一些hunggingface的报错。
- onnx 模型 看起来是支持批量处理的,而且每次嵌入计算,都要求输入必须带一个图片和一个文本一起。
- 输入文本与资源图片 嵌入
- 对嵌入向量做余弦相似度比较。
计算文本与图像之间的相似度
- 这两段代码的核心目的是 计算文本与图像之间的相似度,但它们的实现方式有所不同。下面我将分析这两者之间的区别以及每种方法的具体情况。
代码 1:
image_similarities = cosine_similarity(user_input_embedding, np.concatenate(resource_image_embeddings, axis