大模型应用-多模态和大模型是如何相互成就的

前言

如果单纯的将大模型用来聊天，那就是low了。

而多模态赋予了大模型更多的现实价值，大模型则助力多模态变得更强大。

多模态

我们所处的是一个物理世界，不同事物之间模态多种多样，即便是简单的文本，按照语言，格式都可以分很多个模态。

在实际使用中，多模态的场景往往需要模型微调，才可能满足需求。

我们这里还是主要看一下当前比较常用的基础多模态和支持的模型。

模态	场景	模型	备注
文本	nlp：自然语言处理
nlu:自然语言理解
nlg:自然语言生成	gpt-3.5-turbo
gpt-4
语音	asr：语音转文本
tts：文本转语音	国外：微软，google平台都很好用
国内：讯飞，Paddle等也很好	语音一般都是转成文本然后给到大模型
图片	文生图
图生文
图编辑
图检索	midjourney:最好的图片生成工具，没有之一
DALL·E:openai的模型，2和3都很好，功能强大
gpt-4-vision-preview:图片理解的模型
VisualBERT和ImageBERT：图片向量化	图片和大模型可以玩的很花，下面详说
视频	文生视频，视频理解	待sora问世	视频相关的结合较少，基建缺缺
代码	代码生成和纠错	`Codex` 已集成到gpt的模型中	现在的基础大模型几乎都具备编程能力，并且被广泛集成到github copilot，VS Code这类工具中
embedding	RAG:检索增强	开源的bert
openai的text-embedding-xxx系列
中文的m3e	严格讲这不算一个模态，但RAG往往被单拎出来用
审计	内容审计相关的场景，用于检测不安全内容	openai的text-moderation-xx系列	还记得我之前说的大模型安全问题吗，使用审计模型也是一种方向

典型场景

1. 漫画

我们可以利用大模型自动根据我们的剧情画漫画，它的实现流程大致如下：

• 单智能体版本

1. 创建一个漫画家agent
2. 给这个漫画家添加一个文生图的tool
3. 给它一段段剧情，自动生成漫画

• 多智能体版本

1. 创建一个漫画家agent，创建一个作家agent
2. 给这个漫画家添加一个文生图的tool，给作家一个ttstool。
3. 给作家一段概要，作家自动生成一段段剧情，并生成对应的语音
4. 漫画家根据剧情画出漫画

2. 健身|减肥

在减肥的时候，是不是有这样的烦恼，不知道自己吃的这顿饭有多少卡路里？

我们可以在吃饭前，把食物拍下来，然后用图生文的能力解读出，当前食物所含有的卡路里。

3. 医疗

我生病时，最头疼的事情就是描述不出自己是什么病，也不知道用什么药。

亲身经历：有次早晨醒来，发现后槽牙龈肿了，吃不了饭，当时不知道是智齿冠周炎，去医院挂号排队，搞了一下午，开了一堆药。后来再出现这样的情况，我就直接网购阿莫西林胶囊和甲硝唑口含片，基本一两天就能好。省略一大笔冤枉钱和大把的时间。

现在想想，如果有大模型支持的医疗agent，借助图搜图的能力，我只需要对着口腔拍个照片，就能直接看病，抓药。

4. 法律助手

这是一个典型的embedding功能，在langchain框架上有现成的功能。实际应用中是非常普遍和广泛的。

比如当你在做某个事情，而不知道法律是如何规定的时候，用embedding功能对所有的法律条目进行召回，并用大模型进行总结和回复。

5. siri

这是一个较为复杂的场景，它集成苹果手机的基础功能，此时他的模态更加宽泛，是一个典型的大模型和多模态的应用场景。

尾语

多模态是大模型应用中不可缺少的部分。是更贴近应用的部分。

不同的应用场景需要不同的策略，可能是新旧技术的结合，也可能是完全新的领域，比如sora。多模态正在发力的路上，还需要我们更多的探索。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。