Spring AI 零门槛对接硅基流动,低成本玩转大模型

一、前言
随着Spring AI 加入对大模型的支持,对于Java生态来说,对大模型项目的应用开发也变得简单,借助于spring框架自身的优势,开发者无需太多关注技术框架层面的细节,只需简单了解和学习其技术组件,掌握基本的用法即可,与此同时,Spring AI更多像是扮演了一个通用的接入规则制定者,基于这套规则即可以快速联通各个AI大模型,本篇将详细介绍下基于Spring AI框架,如何快速对接目前主流的大模型平台。

二、Spring AI 对接硅基流动
2.1 硅基流动平台介绍
硅基流动(SiliconCloud)是一家致力于打造大模型时代的AI基础设施的公司,主要提供高效、低成本且全面的生成式人工智能(GenAI)模型服务。硅基流动的核心目标是通过优化大模型使用体验,帮助用户实现“Token 自由”,即以更低成本和更高效率使用先进的大语言模型(LLMs)及其他生成式人工智能(AI)模型。 

快速入口: 硅基流动用户系统,统一登录 SSO  ,注册登录进去之后默认进到模型广场

2.1.1 平台是做什么的
硅基流动是一家专注于大规模AI计算的技术公司,由清华大学高性能计算研究所孙广宇教授团队创立。公司核心团队来自清华大学、MIT等顶尖高校,在高性能计算和AI系统方面有深厚的技术积累。主要产品和服务包括:

SiliconLLM: 高性能LLM推理引擎,支持各种主流大语言模型的高效部署。
SiliconCloud: 一站式AI云计算平台,提供LLM训练推理等服务。
OneDiff: 开源的AI编译框架,可自动优化AI模型性能。
产品核心优势在于深厚的系统优化技术,能大幅提升AI模型的计算效率,帮助企业降低AI部署成本。目标市场主要面向有大规模AI计算需求的企业客户。

2.1.2 适用场景
硅基流动适用于各种需要高效、低成本AI服务的场景,包括但不限于文本生成、图像生成、语音生成、视频生成等。其便捷的使用体验和高性价比的优势使得硅基流动成为开发者和企业在AI应用开发中的理想选择。https://n5x.dhzsjy.com.cn

企业级 AI 应用开发:
通过低成本的 API 服务,迅速将大模型集成到企业产品中。
个人开发者与 AI 爱好者:
无需依赖昂贵的硬件支持,便可使用顶尖大模型进行实验和创新。
多模态内容生成:
支持文本、语音、图像和视频的生成,适用于内容创作者和设计师。
模型微调与定制:
企业可上传自有数据,对模型进行微调,从而满足特定业务需求。
硅基流动(SiliconCloud)致力于为开发者提供一个集成多种开源大模型并配备优化 API 服务的高效、灵活且经济高效的 AI 开发平台。它不仅支持个人开发者快速将创意转化为实际项目,也为企业用户提供了简化的途径来实现生成式 AI 应用的迅速落地。通过整合这些资源和服务,该平台有效地降低了技术实施的门槛与成本,使得更广泛的用户群体能够轻松接触和应用先进的大语言模型与生成式 AI 技术。
————————————————

使用 Spring AI 接入流动模型的方法如下: ### 配置模型客户端 可以通过 Spring AI 的统一 AI 模型接口来配置客户端,示例代码如下: ```java @Configuration public class AiConfig { @Bean public DeepSeekAudioTranscriptionClient transcriptionClient() { return new DeepSeekAudioTranscriptionClient( new SiliconFlowService("sk-xxx"), new AudioTranscriptionOptions()); } } ``` 此代码通过配置类 `AiConfig` 创建了一个 `DeepSeekAudioTranscriptionClient` 实例,使用了 `SiliconFlowService` 并传入 API 密钥和音频转录选项 [^1]。 ### 配置参数 在 `application.properties` 文件中配置相关参数,示例如下: ```properties # API 密钥 spring.ai.openai.api-key:sk-zwhwchtiqavdrxqmyznuprutmyaszovofzfoqkerpdzadhvd # API 础URL(如果需要自定义) spring.ai.openai.base-url:https://api.siliconflow.cn # DeepSeek 模型名称(例如:deepseek-model) spring.ai.openai.chat.options.model:DeepSeek-R1-Distill-Qwen-7B ``` 还可以使用如下格式配置: ```properties spring.ai.deepseek.api-key=${your-api-key} spring.ai.deepseek.chat.options.model=deepseek-ai/DeepSeek-V3 spring.ai.deepseek.chat.options.temperature=0.8 spring.ai.deepseek.base-url=https://api.siliconflow.cn/v1 spring.ai.deepseek.chat.base-url=https://api.siliconflow.cn/v1 ``` 这些配置信息用于指定 API 密钥、础 URL、模型名称以及模型的一些参数,如温度 [^2][^3]。 ### 编写接口调用 编写接口实现与模型的交互,示例代码如下: ```java package com.pgs.aidemo_2.controller; import org.springframework.ai.chat.client.ChatClient; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RestController; import reactor.core.publisher.Flux; @RestController @RequestMapping("/ai") public class ChatController { @Autowired private ChatClient chatClient; @RequestMapping(value = "/chat", produces = "text/html;charset=utf8") public Flux<String> chat(String prompt) { return chatClient.prompt() .user(prompt) .stream() .content(); } } ``` 该控制器使用 `ChatClient` 接收用户的输入 `prompt`,并将其发送给模型,以流式方式返回响应内容 [^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值