让ChatGPT调用10万+开源AI模型！HuggingFace新功能爆火：大模型可随取随用多模态AI工具

关注

原创最新推荐文章于 2026-02-19 00:21:27 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

LLM-202304：HuggingGPT【HuggingFace+ChatGPT】【对于给定任务，自动分析需要哪些AI模型，然后直接去调用相应模型来执行任务并完成】【浙大+微软亚研院】由于大模型(LLM)在语言理解、生成、交互和推理上展现出很强的能力，所以作者认为LLM可以充当一个控制器的作用来管理现有的AI模型以解决复杂的AI任务，并且语言可以成为一个通用的接口来启动AI处理这些任务。一个理想的场景是我们只使用Hugging Face的推理终端，但是在很多情况下，我们不得不部署本地的推理终端，比如在一些特定模型的推理终端不存在的情况，推理将是耗时的，网络权限是受限的。每个demonstration是一组在任务规划上的输入和输出，输入是用户的请求，输出是期望的任务序列。阅读详情

只需和ChatGPT聊聊天，它就能帮你调用10万+个HuggingFace模型！

这是抱抱脸最新上线的功能HuggingFace Transformers Agents，一经推出就获得极大关注：

在这里插入图片描述

这个功能，相当于给ChatGPT等大模型配备了“多模态”能力——

不限于文本，而是图像、语音、文档等任何多模态任务都能解决。

例如告诉ChatGPT“解释这张图像”，并扔给它一张海狸照片。ChatGPT就能调用图像解释器，输出“海狸正在水里游泳”：

在这里插入图片描述

随后，ChatGPT再调用文字转语音，分分钟就能把这句话读出来：

当然，它不仅支持ChatGPT在内的OpenAI大模型，也支持OpenAssistant等免费大模型。

Transformer Agent负责“教会”这些大模型直接调用Hugging Face上的任意AI模型，并输出处理好的结果。

所以这个新上线的功能，背后的原理究竟是什么？

如何让大模型“指挥”各种AI？

简单来说，Transformers Agents是一个大模型专属的“抱抱脸AI工具集成包”。

HuggingFace上各种大大小小的AI模型，都被收纳在这个包里，并被分门别类为“图像生成器”、“图像解释器”、“文本转语音工具”……

同时，每个工具都会有对应的文字解释，方便大模型理解自己该调用什么模型。

在这里插入图片描述

这样一来，只需要一段简单的代码+提示词，就能让大模型帮助你直接运行AI模型，并将输出结果实时返还给你，过程一共分为三步：

首先，设置自己想用的大模型，这里可以用OpenAI的大模型（当然，API要收费）：

from transformers import OpenAiAgent  
  
agent = OpenAiAgent(model="text-davinci-003", api_key="<your_api_key>")

也可以用BigCode或OpenAssistant等免费大模型：

from huggingface_hub import login  
  
login("<YOUR_TOKEN>")

然后，设置Hugging Transformers Agents。这里我们以默认的Agent为例：

from transformers import HfAgent  
  
# Starcoder  
agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")  
# StarcoderBase# agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoderbase")# OpenAssistant# agent = HfAgent(url_endpoint="https://api-inference.huggingface.co/models/OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")

接下来，就可以使用run()或者chat()两个指令，来运行Transformers Agents了。

run()适合同时调用多个AI模型，执行比较复杂专业的任务。

可以调用单个AI工具。

例如执行agent.run(“Draw me a picture of rivers and lakes.”)，它就能调用AI文生图工具帮你生成一张图像：

在这里插入图片描述

也可以同时调用多个AI工具。

例如执行agent.run(“Draw me a picture of the sea then transform the picture to add an island”)，它就能调用“文生图”和“图生图”工具，帮你生成对应图像：

在这里插入图片描述

chat()则适合以聊天的方式“持续完成任务”。

例如，先调用文生图AI工具，生成一个河流湖泊图片：agent.chat(“Generate a picture of rivers and lakes”)

在这里插入图片描述

再在这张图片的基础上做“图生图”修改：agent.chat(“Transform the picture so that there is a rock in there”)

在这里插入图片描述

要调用的AI模型可以自行设置，也可以使用抱抱脸自带的一套默认设置来完成。

已设置一套默认AI模型

目前，Transformers Agents已经集成了一套默认AI模型，通过调用以下Transformer库中的AI模型来完成：

1、视觉文档理解模型Donut。给定图片格式的文件（PDF转图片也可以），它就能回答关于这个文件的问题。

例如问“TRRF科学咨询委员会会议将在哪里举行”，Donut就会给出答案：

在这里插入图片描述

2、文字问答模型Flan-T5。给定长文章和一个问题，它就能回答各种文字问题，帮你做阅读理解。

3、零样本视觉语言模型BLIP。它可以直接理解图像中的内容，并对图像进行文字说明。

4、多模态模型ViLT。它可以理解并回答给定图像中的问题，

5、多模态图像分割模型CLIPseg。只需要给它一个模型和一个提示词，它就能根据这个提示分割出图像中指定的内容（mask）。

6、自动语音识别模型Whisper。它可以自动识别一段录音中的文字，并完成转录。

7、语音合成模型SpeechT5。用于文本转语音。

8、自编码语言模型BART。除了可以自动给一段文字内容分类，还能做文本摘要。

9、200种语言翻译模型NLLB。除了常见语言外，还能翻译一些不太常见的语言，包括老挝语和卡姆巴语等。

通过调用上面这些AI模型，包括图像问答、文档理解、图像分割、录音转文字、翻译、起标题、文本转语音、文本分类在内的任务都可以完成。

除此之外，抱抱脸还“夹带私货”，包含了一些Transformer库以外的模型，包括从网页下载文本、文生图、图生图、文生视频：

在这里插入图片描述

这些模型不仅能单独调用，还可以混合在一起使用，例如要求大模型“生成并描述一张好看的海狸照片”，它就会分别调用“文生图”和“图片理解”AI模型。

当然，如果我们不想用这些默认AI模型，想设置一套更好用的“工具集成包”，也可以根据步骤自行设置。

对于Transformers Agents，也有网友指出，有点像是LangChain agents的“平替”：

你试过这两个工具了吗？感觉哪个更好用？

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述