Jina AI创始人肖涵博士解读多模态AI的范式变革

我们正处于人工智能新时代的风口浪尖，正从单模态大步迈向多模态 AI 时代。在 Jina AI，我们的 MLOps 平台帮助企业和开发者加速整个应用开发的过程，在这一范式变革中抢占先机，构建起着眼于未来的应用程序。

本文由 Jina AI 创始人肖涵为大家带来多模态 AI 技术的行业洞察分享。

 本文作者：肖涵博士，Jina AI 创始人兼 CEO

如果别人问到我们 Jina AI 是做什么的，我会有以下两种回答。1. 面对 AI 研究员时，我会说：Jina AI 是一个跨模态和多模态数据的 MLOps 平台；2. 面向从业者和合作伙伴时，我会说：Jina AI 是用于神经搜索和生成式 AI 应用的 MLOps 平台。

但无论用哪种方式来介绍 Jina AI，大多数人对于这几个词语都是比较陌生的。

跨模态、多模态

神经搜索、生成式 AI

你可能听说过”非结构化数据“，但什么是“多模态数据”呢？你可能也听说过“语义搜索”，那“神经搜索”是什么新鲜玩意儿呢？可能更加令你困惑的是，Jina AI 为什么要将这四个概念混在一起，开发一个 MLOps 框架来囊括所有这些概念呢？

这篇文章就是为了帮助大家更好地理解 Jina AI 到底是做什么的，以及我们为什么要做这些。首先，“人工智能已从单模态 AI 转向了多模态 AI”，这一点已成为行业共识，如下图所示：

Jina AI 愿景中的未来 AI 应用

在 Jina AI，我们的产品囊括了跨模态、多模态、神经搜索和生成式 AI，涵盖了未来 AI 应用的很大一部分。我们的 MLOps 平台帮助企业和开发者加速整个应用开发的过程，在这一范式转变中抢占先机，构建起着眼于未来的应用程序。

在接下来的文章里，我们将回顾单模态 AI 的发展历程，看看这种范式转变是如何在我们眼下悄然发生的。

单模态人工智能

在计算机科学中，“模态”大致意思是“数据类型”。所谓的单模态 AI，就是将 AI 应用于一种特定类型的数据。这在早期的机器学习领域非常普遍。直至今日，你在看机器学习相关的论文时，单模态 AI 依然占据着半壁江山。

自然语言处理

我们从自然语言处理（NLP）开始回顾。早在 2010 年，我就发表了一篇关于 Latent Dirichlet Allocation（LDA）模型的改进 Gibbs sampling(吉布斯抽样)算法的论文。

Efficient Collapsed G