weixin_61332602的博客

原创 Springboot对接大模型，支持流式输出

1. 后端使用springb webflux开发，前端管理使用vue + vuetify。项目地址：https://github.com/chicring/OnChat。通过OpenAI ApI的格式访问模型，一种请求访问所有大模型。7. 请求日志记录，包括请求的模型、输入输出、请求耗时、ip地址。2. 通过OpenAI ApI的格式访问所有的大模型。6. 分发二次令牌， 通过生成的令牌来访问添加的模型。4. 支持自定义模型映射。5. 支持流式输出模型，3. 支持添加的模型。8.支持设置代理请求。