Jina AI x DataWhale｜跨模态神经搜索实践的教程正式上线！

Datawhale x Jina AI 联合推出跨模态神经搜索教程！本教程基于 MLOps 框架 Jina 与 CLIP 模型搭建，通过前后端分离的模式，帮助你快速地搭建自己的神经搜索应用，接触前沿的多模态 AI 技术。

教程背景

在当下互联网信息爆发且形式愈加丰富的背景下，多模态、跨模态的人工智能崛起。单一模态往往难以提供对图文、视频等信息的完整描述，而多模态人工智能颠覆了传统单模态的互动方式，用户可以使用任何模态的组合进行输入输出，包括且不限于文本、图像、视频、音频等，为计算机提供更接近于人类感知的场景，打造了全新的用户体验。

本次跨模态神经搜索实践教程由 Datawhale 和 Jina AI 社区联合推出。

教程亮点

有别于传统的搜索引擎的关键词匹配，本教程带你实现的是一个跨模态的神经搜索，通过输入对画面的描述文本即可获得高度对应的视频片段。

如图，输入“几个戴着麻将面具的人”，就能得到如下的视频片段。

教程内容

内容说明：教程以 Jina 框架^[1]和 CLIP 模型为基础，生动介绍了如何从零搭建起一个跨模态的神经搜索应用。从环境搭建，到容器化部署，每一步教程贡献者们都提供了清晰的文档。

学习路线

12天学习路线
任务一	环境搭建	24h
任务二	上手 MLOps 框架 Jina	48h
任务三	跨模态模型 CLIP	48h
任务四	项目前端搭建	24h
任务五	项目后端搭建	48h
任务六	Docker 容器化部署	24h
进阶任务*	项目功能拓展	72h

适合同学：对多模态 AI 、神经搜索技术感兴趣，有一定 Python 基础。

教程激励：顺利完成基础教程的同学，将有机会抽取 Jina AI 周边。进阶任务*可以自行选择是否参与，完成进阶任务者均可获得 Jina AI 周边礼包。

学习模式

Datawhale 社区的开源教程旨在创造自主设计学什么、如何学的过程。由学习者自身需求出发，依托社区的内容和社群资源，自主设计学习路径和产出，并随着学习者的参与和贡献，不断迭代进化。

学习者可以通过任务打卡，博客写作等方法，输出倒逼输入，沉淀知识网络；同时也可以通过组队连接志同道合的同伴，建构长期的社交网络，从传统网络教学中知识单向传播转向学生主体参与，互相协作，长期发展。

特别致谢

特别感谢本次教程^[2]的贡献者们！他们是苏鹏、韩颐堃、崔腾松、范致远、十一、边圣陶、吴祥、张帆、席颖。

同时也特别感谢项目原作者，UP 主人工智能小黄鸭给本项目提供了灵感，本项目的基础代码来自于 ArthurKing01^[3]

最后，要特别感谢 CLIP-as-service 的重要贡献者单茂轩，基于开源项目 CLIP-as-service，使用 60 行代码复现了本项目^[4]，并对核心代码逻辑进行了介绍。

教程报名

希望参与的小伙伴扫码添加小助手，加入 Jina AI 社区，以获取更多社区支持，同时报名参与本期教程，也有机会获取 Jina AI 周边！

引用链接

[1] Jina 开源仓库: https://github.com/jina-ai/jina
[2] Datawhale教程: https://github.com/datawhalechina/vced
[3] 原项目作者Arthur仓库: https://github.com/ArthurKing01/jina-clip
[4] 单茂轩60行代码复现项目: https://github.com/shan-mx/Video-CLIP-Indexer

更多精彩内容（点击图片阅读）