基于跨模态AI模型实现图像检索诗歌

已于 2022-02-27 16:04:35 修改
阅读量527 收藏 1
点赞数
分类专栏： 人工智能实战 文章标签： 人工智能 自然语言处理 图像处理
于 2022-02-27 16:04:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/eton_liu/article/details/123165316
版权
本文介绍了如何利用BriVL模型实现图像检索诗歌，该方法类似于CLIP论文的思想。通过输入图片，AI能够检索出匹配场景的古诗词，如清华大学九歌系统的实例所示。博客提供了一种将视觉与文学结合的新方式，适用于‘此时此景，我想吟诗一首’的场景。代码已上传至GitHub供参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于跨模态AI模型实现图像检索诗歌

前言

生活中我们，我们常常会听到这样的说法：“啊，此时此景，我想作首诗”，或者“啊，此时此景，我想吟诗一首。”
在这里插入图片描述
清华大学九歌系统对上述图片已经生成的诗句如下：
一溪流水绕柴关
上有悬崖绝壁攀
丹灶烟霞通别岛
万年琪树接人寰

对于该博客介绍的方法检索出的诗句如下：
日照香炉生紫烟
遥看瀑布挂前川
飞流直下三千尺
疑是银河落九天

AI检索名诗名篇，引经据典，符合“啊，此时此景，我想吟诗一首”使用场景。

一、原理

在这里插入图片描述
与“CLIP”论文思想一致，本实现使用的是悟道公司的BriVL模型。

二、流程

在这里插入图片描述

三、代码

代码见github

使用深度学习模型进行图像检索：VGG和ResNet实践
sybh的博客
04-25 951
在本博客中，我们首先介绍了如何使用VGG和ResNet深度学习模型在ImageNet数据集上进行图像检索任务。接着，我们探讨了如何通过微调、改进相似性度量、使用更多图像、采用局部特征描述符和深度图像检索方法来改进图像检索效果。虽然我们提供了一些示例代码，但请注意实际应用中可能需要根据具体需求进行调整。我们鼓励您尝试不同的方法和参数，以找到最适合您需求的图像检索方案。
【多模态处理篇四】【DeepSeek跨模态检索：联合嵌入空间构建方案 】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
02-22 131
去年有个甲方爸爸提了个离谱需求——让用户用一张随手拍的早餐照片，在App里找到对应的菜谱视频，还要能匹配用户哼唱的"慵懒爵士风BGM"！当时整个团队差点集体跑路，直到搞出这套跨模态联合嵌入空间的"万能钥匙"，才让图片、文字、音频、视频这些八竿子打不着的模态在同一个空间里"对上了暗号"。今天我就把压箱底的秘籍全抖出来，手把手教你造这把"次元门钥匙"！
ACM MM最佳论文全文：通过多对抗训练，从图像生成诗歌
weixin_33943836的博客
10-26 1544
雷锋网 AI 科技评论按：多媒体信息处理领域顶级学术会议 ACM MM 2018（ACM International Conference on Multimedia）于 2018 年 10 月 22 日至 26 日在韩国首尔举行。 本次会议共收到 757 篇论文投稿，接收论文 209 篇，接收率为 27.61%；其中口头报告论文 64 篇，比例为...
跨模态学习在图像检索领域的挑战：视觉特征提取与匹配
AI天才研究院
12-27 1138
1.背景介绍 图像检索是一种计算机视觉技术，它旨在根据用户提供的查询图像来检索与之相似的图像。图像检索的主要应用包括图库搜索、视频检索、人脸识别等。图像检索的核心技术是视觉特征提取与匹配。传统的图像检索方法主要包括基于特征的方法和基于深度学习的方法。 基于特征的方法通常包括以下几个步骤：首先，使用一种特征提取算法(如SIFT、SURF、ORB等)来提取图像的特征描述符；然后，使用一种特征匹配算...
跨模态检索综述
qq_40905284的博客
05-30 3766
跨模态检索问题综述
图文跨模态检索研究综述
zenRRan的博客
08-26 1545
作者：张振兴，王亚雄来源：《北京交通大学学报》编辑：陈萍萍的公主@一点人工一点智能原文：https://jdxb.bjtu.edu.cn/CN/10.11860/j.issn.1673-0291.20230126摘要：图文跨模态检索作为跨模态计算研究的一个核心课题，一直受到学术界和工业界的高度重视。在过去的几十年里，随着深度学习技术的发展，特别是深度神经网络、Transformer架构以及图文对比...
利用跨模态AI模型进行图像检索诗歌的实践
基于跨模态AI模型的图像检索诗歌技术，是人工智能在文化创新和艺术感知方面的一个突破，它将传统的诗词文化和现代的计算机技术相结合，有望在未来为人们提供更加丰富的交互体验和创新应用。同时，这也反映了基础模型...
迈向跨模态智能：AI大模型的融合进化之路
最新发布
qq_20245171的博客
04-07 716
跨模态（Multimodal）智能，指的是 AI 能够同时感知、理解和生成多种类型的输入信息（如文本、图像、视频、音频、代码等），并在此基础上进行联想、推理和决策。多模态融合是 AI 通往通用智能（AGI）的一道“必经之路”。只有当 AI 不再只“读懂文字”，而是能够像人一样“看、听、说、联想、创造”，我们才能真正迎来全感知、全理解的智能新时代。而 AI 大模型正是这个愿景的“引擎”。
基于大语言模型的智能问答系统设计与实践【系列文章】
AI智能涌现深度研究
03-28 4651
随着人工智能技术的迅猛发展，智能问答系统在各行各业中得到了广泛应用。无论是智能客服、在线教育，还是智能助手，问答系统都在提升用户体验和服务效率方面发挥着重要作用。然而，传统的问答系统往往依赖于规则和模板，难以应对复杂多变的用户需求，且开发成本高，维护难度大。近年来，大规模预训练语言模型（Large Language Models, LLMs）的出现，为智能问答系统带来了新的解决方案。
跨模态检索最新高质量综述《Image-text Retrieval: A Survey on Recent Research and Development》
zag666的博客
06-17 1万+
本文从四个方面对ITR方法进行了全面和最新的调查。通过将ITR系统剖析为两个过程：特征提取和特征对齐，我们从这两个角度总结了ITR方法的最新进展。在此基础上，对ITR系统的效率研究作为第三个角度进行了介绍。为了与时俱进，我们还从第四个角度对跨模态预训练的ITR方法进行了开创性的概述。最后，我们概述了ITR的通用基准数据集和评估指标，并对有代表性的ITR方法进行了准确性比较。本文最后还讨论了一些关键但研究不多的问题。
跨模态检索
Exception_3212536934的博客
04-22 8156
目录 一、定义 二、分类 基于特征表示方法 基于图文匹配的方法 三、相关概念 四、相关网络结构 五、相关文献 一、定义 通过一种模态样本来检索具有近似语义的另一种模态样本。 跨模态学习是多模态学习的分支。 跨模态检索训练过程中所有模态的数据都存在，但在测试过程中只有一种模态可用。 挑战：如何度量不同模态数据之间的内容相似性，也称之为异质鸿沟问题。 二、分类 基于实值表示学习：提升跨模态语义相关性，进而提高跨模态检索准确度。 基于二进制表示学习：提升跨模态图文检索效率，减少
文献阅读-深度学习跨模态图文检索研究综述
Ricardo_PING的Blog
10-06 5076
跨模态检索是多模态学习的重要分支，其目的在于挖掘不同模态样本之间的关系，即通过一种模态样本来检索具有近似语义的另一种模态样本。首先，聚焦于深度学习跨模态图文检索研究的最新进展，对基于实值表示学习和基于二进制表示学习方法的发展动态进行了详细介绍，其中，基于实值表示的方法用于提升跨模态语义相关性，进而提高跨模态检索准确度，基于二进制表示学习的方法用于提升跨模态图文检索效率，减小存储空间；其次，总结了跨模态检索领域常用的公开数据集，对比了不同算法在不同数据集上的性能表现。
图片/文字/视频跨模态检索综述
datayx的文章
07-21 2347
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx0 引言在过去的二十几年里，不同类型的媒体数据如文 本、图像和视频迅速增长。通常，这些...
跨模态搜索(cross-modal/media retrieval)
不会讲段子的正能量小王子
05-26 1万+
跨模态搜索研究的基本内容是寻找不同模态样本之间的关系，实现利用某一种模态样本，搜索近似语义的其他模态样本。 本文实现了论文《Joint Feature Selection and Subspace Learning for Cross-Modal Retrieval》（PAMI2016）和论文《Simple to Complex Cross-modal Learning
跨模态检索：带你领略图文检索的魅力
cassiePython的专栏
08-15 1万+
跨模态检索：带你领略图文检索的魅力 引子 作为经常“百度一下”的众多网民中的一份子，我们经常使用百度，输入要搜索的关键词，来检索要想的文本信息，此时是使用文本来检索文本；有时我们又会使用百度图片检索的功能，上传图片来寻找相似的图片，此时是以图来检索图；但我们也经常使用文本来搜索相应的图片，此时我们输入信息的类型和获得的信息的类型就不同了，我们称之为“跨模态”。 简 介 来下个专业点的定义：...
手把手实现AI诗歌生成（AI写诗）
m0_55970575的博客
01-23 1万+
本模型采用的是字符级别的诗歌生成（pytorch） 环境： python3.X pytorch GPU或CPU版本都行， 另外天有点冷，建议用GPU训练，电脑绝对比暖手宝好用 目录 项目文件结构： 数据已经打包： 1、数据集处理 2、构建模型与训练模型 基于概率语言模型的模型 网络结构 网络输入输出 损失函数 3、生成诗歌 4、配置文件 5、生成效果 6、结语 参考： 项目文件结构： data:存放预处理好的数据 model:存放训练好的模型 co
Cross-modal Retrieval（跨模态检索）
热门推荐
nakaizura
05-03 2万+
前一篇文章整理了多模态融合Multimodal Fusion，最近看到一篇很好的跨模态检索的文章，这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另，如果有其他idea很好的跨模态论文，希望你在文章后面留言！ Cross-modal Retrieval 一般一个跨模态检索过程可以既包括模态表征，模态转换，模态对齐和联合学习（唯独没有模态融合，基本上不需要融合）。 Adversarial ...
一种具有细粒度和多尺度的多源跨模态遥感图像检索方法
Governer的博客
11-03 3974
一种具有细粒度和多尺度的多源跨模态遥感图像检索方法前言一、背景介绍二、算法介绍1.非对称的跨模态多尺度图像多源检索算法 (AMFMN)2.基于先验相似度的动态margin调整策略3.更加细粒度的多源遥感图文数据集(RSITMD)三、实验结果总结 前言 随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。本文介绍一种遥感领域非对称的跨模态多源图像检索方法，使用多尺度自注意力模块提取遥感图像的显著特征，并根据该特征引导多源检索信息的动态整合和表
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值