【model factory】构建统一的AI模型调用工具：多模型多平台集成

章章小鱼

已于 2024-12-08 13:46:37 修改

阅读量345

点赞数 10

文章标签： prompt 人工智能

于 2024-12-08 13:44:41 首次发布

本文链接：https://blog.youkuaiyun.com/guojiajiajiu/article/details/144324975

版权

随着AI技术的快速发展，市面上出现了越来越多的大语言模型和多模态模型。每个模型提供商都有自己的API调用方式和接口规范，这给开发者在实际应用中带来了不少挑战：

需要学习多个API的调用方式
代码难以统一管理和维护
在不同模型间切换成本较高
配置管理复杂

为了解决这些问题，我们开发了这个AI模型集成工具包，旨在提供一个统一的接口来调用各种AI模型。

具体的项目地址在这里
使用文档在这里

1. 统一的接口设计

我们采用工厂模式和注册表模式，实现了一个智能的模型路由系统。开发者只需要指定模型名称，系统就能自动路由到对应的提供商并完成调用。这大大简化了开发流程，提高了代码的可维护性。

2. 全面的模型支持

目前支持的模型提供商包括：

OpenAI的GPT系列
Groq的Mixtral和LLaMA系列
Together的Qwen系列
DeepSeek的模型
智谱AI的GLM系列

3. 多模态能力

除了文本生成，我们还集成了：

图像生成（CogView-3）
视频生成（CogVideoX）
多模态对话
函数调用（Function Calling）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

章章小鱼

关注关注

10
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大模型微调部署实战及类GPT工具的高效使用

herosunly的博客

07-24

20万+

本文主要介绍了专栏《大模型微调部署实战及类GPT工具的高效使用》的核心内容，希望对使用大语言模型的同学们有所帮助。文章目录 1. 前言 2. 专栏亮点 3. 你的收获 4. 详细目录

LLM - 使用 LLaMA-Factory 部署大模型 HTTP 多模态服务教程 (4)

AGI

01-02

1391

大模型的 HTTP 服务，通过网络接口，提供 AI 模型功能的服务，允许通过发送 HTTP 请求，交互大模型，通常基于云计算架构，无需在本地部署复杂的模型和硬件，就能够访问和使用。通过简单的 API 调用，执行各种任务，从而在各种应用中实现智能化，不仅提高模型的可访问性，还降低技术门槛。

参与评论您还未登录，请先登录后发表或查看评论

SpringMVC之ModelFactory

m0_37343985的博客

11-24

623

ModelFactory是用来维护Model的，具体包含两个功能 1、初始化Model 2、处理器执行后将Model中相应的参数更新到SessionAttributes中 public void initModel(NativeWebRequest request, ModelAndViewContainer mavContainer, HandlerMethod handlerMethod) ...

Spring MVC源码分析之ModelFactory

william的专栏

03-15

756

我们在RequestMappingHandlerAdapter的invokeHandlerMethod方法中可以看到对ModelFactory的使用 protected ModelAndView invokeHandlerMethod(HttpServletRequest request, HttpServletResponse response, HandlerMethod handler...

Factory Model

u011819830的专栏

11-22

810

一、工厂模式主要是为创建对象提供过渡接口，以便将创建对象的具体过程屏蔽隔离起来，达到提高灵活性的目的。工厂模式在《Java与模式》中分为三类： 1）简单工厂模式（Simple Factory）：不利于产生系列产品； 2）工厂方法模式（Factory Method）：又称为多形性工厂； 3）抽象工厂模式（Abstract Factory）：又称为工具箱，产生产品族，但

AI集成工具平台一站式体验，零门槛使用国内外主流大模型

最新发布

m0_73283053的博客

04-08

1237

通过 Spring AI 集成 DeepSeek，开发者可以快速构建智能对话、代码生成等应用。本文演示了从环境搭建到接口调用的完整流程，并提供了流式响应和本地部署的扩展方案。Spring AI 的统一 API 设计极大简化了模型切换，而 DeepSeek 的高性能和国产化特性则为业务场景提供了可靠保障。SpringAi文档DeepSeek 官网希望本文能帮助开发者快速上手 Spring AI 与 DeepSeek 的集成！如果有任何问题或优化建议，欢迎在评论区讨论。

构建自定义 AI 模型服务：集成到 Spring AI 处理特定任务

秋元的博客

01-27

1132

Spring AI 提供了强大的扩展能力，可以轻松集成自定义 AI 模型服务。

AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库

寻道AI，探索AI无限可能！

05-20

1万+

在当前信息技术迅猛发展的时代，知识库的构建与应用已成为企业竞争的关键。随着自然语言处理技术的不断进步，基于微调的企业级知识库改造落地方案受到越来越多的关注。在前面的系列篇章中我们分别实践了基于CVP架构-企业级知识库实战落地和基于基于私有模型GLM-企业级知识库开发实战；本文将深入探讨和实践一种基于微调技术的企业级知识库改造方法，以期为企业提供更加高效、安全和可靠的知识管理解决方案。

SpringMVC源码分析-HandlerAdapter(6)-ModelFactory组件分析

BraveWangDev

07-08

514

ModelFactory组件分析 ModelFactory是用来维护Model的,包含两个功能: 1,初始化Model 2,更新Model,处理器执行后将Model中的参数更新到SessionAttributes中初始化Model 初始化Model: 在处理器执行前将数据设置到Model中,通过initModel方法完成 ModelFactory#initModel p...

springMVC源码分析--ModelFactory

井底之蛙

01-04

1855

ModelFactory是用来维护Model的，具体包含两个功能（1）初始化Model（2）处理器执行后将Model中相应的参数更新到SessionAttributes中1、初始化Model其实是对@ModelAttribute和@SessionAttribute注解的执行，执行的操作是在initModel中，包括获取@SessionAttribute注解的参数的值以及被@ModelAttribu

太炸裂了！这5个AI大模型，我愿称为国产之光！

kaka0722ww的博客

06-22

951

说到AI大模型，大家是不是第一时间就想到了ChatGPT？经过大半年的角逐，国产AI圈里又崛起了许多超好用的 AI 大模型！无论你是想利用 AI 高效办公、还是搞定自媒体文案写作、或是开启 AI 设计创作……今天这5款 AI 大模型，都能帮你轻松搞定！看看你适合哪个？360智脑是360研发的AI大模型，集成了自然语言处理、图像识别、语音识别等多种AI技术，为我们提供了丰富的智能服务。每天都有 300 次回答机会，完全够我们日常使用啦~你可以让AI帮你生成工作所需的PPT大纲！

如何实现AI大模型应用服务的多模型管理？

weixin_43193041的博客

09-20

970

在LLMs百花齐放的时代，大量的模型涌现出来，不仅仅是大语言模型，还有很多图像生成模型，视频生成模型，甚至是多模态模型，项目中使用的模型也不可能只有一种，更不可能只有一个。而对于商用大模型如ChatGPT, Bard, Claude这样的模型，推理成本低于私有化部署的模型并且远优于私有化部署的模型，用户也会通过Proxy的形式轻量级接入。视频模型目前表现较好的有商用模型Gen-2, 其他开源视频模型目前效果都比较差，伴随着多模态模型的高度关注下，也在快速推进，效果在不断变好。

SpringMVC ModelFactory源码解析

qq_33221085的博客

10-31

308

SpringMVC ModelFactory干什么初始化干什么 modelFactory 主要是维护model的，有两个作用：初始化model 更新model，在处理器处理完了之后，把参数更新的到sessionAttributes中初始化在 org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandl...

从原理层面掌握@SessionAttributes的使用【享学Spring MVC】

架构师：通透，才能写出好代码！

08-04

4150

前言该注解顾名思义，作用是将Model中的属性同步到session会话当中，方便在下一次请求中使用(比如重定向场景~)。虽然说Session的概念在当下前后端完全分离的场景中已经变得不那么十分重要了，但是我仍旧强烈不建议各位扔掉这个知识点~ @SessionAttribute 这个注解只能标注在类上，用于在多个请求之间传递参数，类似于Session的Attribute。但不完全一样：一般来说...

Flutter携手AI大模型实战揭秘：打造多平台通用AI工具的终极指南！

z551646的博客

09-10

1699

总体上来讲，非常简陋，主体思想是尽可能多地支持可调用 API。目前(2024-09-06)是兼容了百度、腾讯、阿里、智谱 AI、零一万物、SiliconFlow、讯飞 7 个平台的 92 个大模型(含重复)的 API 调用但打包好的 apk 直接可用的是 5 个平台(除了阿里、零一万物)的 21 个免费的大模型，用的我的密钥。如果想使用全部模型，可自行去各个平台充值、获取密钥，在“平台密钥”页面添加指定栏位密钥只缓存在本地，事实上，除了调用 API 和加载图片、视频，都没有联网操作。

LLM大模型统一封装接口解决方案

Jack_software的专栏

03-18

1614

封装一个通用的 Java 框架的 chat completion 接口，来适配各种大模型的统一调用的解决方案

跨模型的 API 调用与集成：使用 Spring AI 构建可移植的 API 代码，支持多个 AI 模型（如 OpenAI、Anthropic 等）的调用

秋元的博客

01-23

1737

Spring AI 是 Spring 生态系统中的一部分，旨在提供一种简单、可扩展的方式来集成人工智能模型。Spring AI 使得开发者可以使用现有的 Spring 体系结构方便地访问多种 AI 模型和服务，例如 OpenAI、Anthropic、HuggingFace 等。

如何接入多个AI大模型,配置如何定义

02-22

<think>好的，用户问的是如何接入多个AI大模型以及配置如何定义。我需要先理清楚用户的需求。他们可能是一个开发者，想要在自己的应用中集成不同的AI服务，比如OpenAI、Claude或者国内的比如文心一言之类的。需要知道如何同时管理多个API，以及配置方面的最佳实践。首先，用户可能关心的是步骤，比如注册账号、获取API密钥这些基本流程。然后，如何组织这些配置，可能涉及到配置文件的结构，比如使用JSON或者YAML，环境变量等。还有代码层面的实现，比如使用工厂模式、适配器模式来统一不同模型的接口。接下来，用户可能还想了解如何处理不同模型的差异，比如输入输出的格式，参数的不同（比如temperature, max_tokens等）。还有错误处理、重试机制，以及如何动态切换模型，可能涉及到负载均衡或者故障转移的策略。还要考虑安全性，比如如何安全地存储API密钥，避免硬编码在代码里。可能提到使用密钥管理服务或者环境变量。此外，成本管理也是一个点，不同模型的计费方式不同，需要监控使用情况。用户可能没有明确说出来的深层需求，比如希望有一个灵活、可扩展的系统架构，方便未来添加新模型而不用大幅修改代码。或者他们想比较不同模型的性能、结果，做一个A/B测试之类的。需要给出具体的例子，比如代码片段，配置文件的样例，这样用户更容易理解。同时，要提到常用的工具和库，比如Python的requests、aiohttp，或者已有的SDK，langchain这样的库可能已经支持多模型集成。另外，可能需要注意国内和国际模型的不同，比如访问权限、API端点地址的不同，以及是否需要代理等网络配置问题。还要提到异步调用和并发处理，提高效率。最后，总结最佳实践，帮助用户避免常见的陷阱，比如配置错误、API限制、响应解析错误等。确保用户有一个全面的指南，能够顺利集成多个AI模型到他们的项目中。</think>接入多个AI大模型并管理其配置通常需要以下步骤和策略，以下是详细指南： --- ### 一、基础准备 1. **注册API服务** - 为每个目标模型（如OpenAI GPT、Claude、文心一言、通义千问等）注册开发者账号，获取API Key和访问端点（Endpoint）。 - 示例服务： ```bash OpenAI: https://api.openai.com/v1 Claude: https://api.anthropic.com/v1 文心一言: https://aip.baidubce.com/rpc/2.0/ai_custom/v1 ``` 2. **记录关键参数** - 每个模型的API参数可能不同，例如： - `model`（模型版本，如`gpt-4`或`claude-2.1`） - `temperature`（生成随机性） - `max_tokens`（输出长度限制） --- ### 二、配置管理方案 #### 方案1：配置文件（推荐）使用JSON/YAML文件统一管理配置，例如 `config.yaml`： ```yaml models: openai: api_key: "sk-xxx" endpoint: "https://api.openai.com/v1" params: model: "gpt-4" temperature: 0.7 claude: api_key: "sk-ant-xxx" endpoint: "https://api.anthropic.com/v1" params: max_tokens: 1000 ``` #### 方案2：环境变量敏感信息（如API Key）通过环境变量注入： ```bash # .env 文件 OPENAI_API_KEY=sk-xxx CLAUDE_API_KEY=sk-ant-xxx ``` #### 方案3：数据库存储动态配置场景下可将配置存入数据库，例如： ```sql CREATE TABLE ai_models ( id INT PRIMARY KEY, name VARCHAR(50), api_key VARCHAR(100), endpoint VARCHAR(200), params JSON ); ``` --- ### 三、代码实现模式 #### 1. 工厂模式（Factory Pattern）根据配置动态创建模型实例： ```python class ModelFactory: @staticmethod def create_model(model_name, config): if model_name == "openai": return OpenAIClient(config) elif model_name == "claude": return ClaudeClient(config) # 扩展其他模型... # 使用示例 config = load_yaml("config.yaml") gpt = ModelFactory.create_model("openai", config["openai"]) ``` #### 2. 适配器模式（Adapter Pattern）统一不同模型的输入/输出格式： ```python class ModelAdapter: def __init__(self, client): self.client = client def generate(self, prompt): # 转换不同模型的请求格式 if isinstance(self.client, OpenAIClient): return self.client.create_completion(prompt) elif isinstance(self.client, ClaudeClient): return self.client.generate(prompt) ``` --- ### 四、高级功能实现 1. **负载均衡** - 根据成本、延迟或性能指标自动选择模型： ```python def select_model(models): # 基于实时监控数据选择最优模型 return cheapest_model(models) ``` 2. **异步调用** 使用异步请求提高吞吐量（Python示例）： ```python import aiohttp async def async_call(model, prompt): async with aiohttp.ClientSession() as session: response = await session.post( model.endpoint, headers={"Authorization": f"Bearer {model.api_key}"}, json={"prompt": prompt, **model.params} ) return await response.json() ``` 3. **错误处理与重试** - 封装重试逻辑（如指数退避）： ```python from tenacity import retry, stop_after_attempt @retry(stop=stop_after_attempt(3)) def call_api_with_retry(api_func, prompt): return api_func(prompt) ``` --- ### 五、安全与优化 1. **敏感信息保护** - 使用Vault或AWS Secrets Manager管理API Key。 - 禁止在代码中硬编码密钥。 2. **限流与监控** - 为每个API设置Rate Limiting（如OpenAI的RPM限制）。 - 通过Prometheus/Grafana监控用量和开销。 --- ### 六、完整代码示例 ```python import yaml import os from openai import OpenAI from anthropic import Anthropic # 加载配置 with open("config.yaml") as f: config = yaml.safe_load(f) class MultiModelManager: def __init__(self): self.clients = { "openai": OpenAI(api_key=config["openai"]["api_key"]), "claude": Anthropic(api_key=config["claude"]["api_key"]) } def generate(self, model_name, prompt): client = self.clients[model_name] params = config[model_name]["params"] if model_name == "openai": response = client.chat.completions.create( model=params["model"], messages=[{"role": "user", "content": prompt}], temperature=params["temperature"] ) return response.choices[0].message.content elif model_name == "claude": response = client.messages.create( model=params["model"], max_tokens=params["max_tokens"], messages=[{"role": "user", "content": prompt}] ) return response.content[0].text # 使用示例 manager = MultiModelManager() print(manager.generate("openai", "你好！")) ``` --- ### 七、扩展建议 - **模型抽象层**：使用LangChain等框架快速集成多模型。 - **本地模型支持**：结合Ollama等工具管理本地部署的LLM。 - **配置热更新**：通过Watchdog监听配置文件变化，实现动态加载。通过以上方案，可实现灵活、安全的多模型接入，并支持快速扩展新模型。