Spring AI-26.Hugging Face 聊天模型集成指南

最新推荐文章于 2025-06-28 17:37:20 发布
最新推荐文章于 2025-06-28 17:37:20 发布
阅读量23 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 人工智能(AI) Java全套教程 Spring AI 文章标签： spring 人工智能 java Spring AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/youyong/article/details/148452726

Spring AI-26.Hugging Face 聊天模型集成指南

Spring AI 支持通过 Hugging Face Inference API 集成开源聊天模型（如 LLaMA-2、ChatGLM-4、Falcon-180B），提供文本生成、流式响应和自定义模型部署功能。以下是详细的集成步骤和使用说明：

一、环境准备

  1. 获取 Hugging Face API 令牌

    • 访问 Hugging Face Hub 注册账号并生成 API 令牌（Token）。

    • 设置环境变量或配置文件：

      export SPRING_AI_HUGGINGFACE_API_KEY=your-huggingface-token

  2. 添加依赖<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hugging Face的API token获取方式指南
Cachel Wood的博客
08-31 6085
平台的AI Models，Spaces和Datasets，虽然transformers包可以在本地调用。之后可以直接在Spaces新建Gradio项目，保证Gradio项目的稳定部署和多端访问。在弹出的对话框中，输入一个名称来标识这个新的 API token，例如“在“Settings”页面中，选择“API tokens”选项卡。在“API tokens”页面中，点击“New token”按钮。登录后，点击右上角的用户名，选择“Settings”。”按钮，系统会生成一个新的 API token。
Spring AI-43.Ollama 嵌入模型集成指南
无
06-15 34
Spring AI 整合 Ollama 本地嵌入模型指南（150字摘要） 本文介绍如何在 Spring AI 中集成 Ollama 本地部署的开源嵌入模型。通过配置 application.properties 指定模型路径（如 mistral-embed 或 Hugging Face 的 GGUF 格式模型），开发者可快速调用 EmbeddingModel 接口生成文本向量。指南涵盖环境搭建（需安装 Ollama 服务）、核心 API 使用（支持批量处理与动态参数）、性能优化建议（GPU加速/内存映射）及
如何获取HuggingFace的Access Token；如何获取HuggingFace的API Key
热门推荐
浩栋的博客
11-06 3万+
注册完毕之后，进行登录，登录之后需要邮箱验证，这步很简单，自己操作即可。点击右上角的头像图表，然后在下拉菜单中选择。进入页面后，点击左侧。
基于Spring AI与Hugging Face TGI构建高效聊天应用：从配置到实践全解析
-曾牛的博客
05-14 929
本文详细介绍了如何利用Spring AI与Hugging Face的Text Generation Inference（TGI）技术构建高效的聊天应用。TGI通过连续批处理、令牌流式处理和高效内存管理，显著提升了文本生成任务的性能。文章从TGI的核心优势、支持的模型及前提条件入手，逐步讲解了Spring AI集成Hugging Face聊天模型的配置实践，包括依赖管理、自动配置与属性设置、控制器开发示例等。此外，还提供了手动配置与底层API调用的方法，并指出了注意事项与常见问题。通过本文，开发者可以快速上手
Hugging Face让我们人手一个AutoGPT，Hugging Face模型大集合，端到端开发框架transformers-agent，对标LangChain
朴拙科技的博客
05-20 1915
这里的“代理”是一个大型语言模型，我们正在提示它，以便它可以访问一组特定的工具。LLM 非常擅长生成小的代码样本，因此该 API 通过提示 LLM 给出使用一组工具执行任务的小代码样本来利用这一点。然后，此提示将由你为代理提供的任务和你为其提供的工具的描述来完成。通过这种方式，它可以访问你正在使用的工具的文档，特别是它们的预期输入和输出，并可以生成相关代码。虽然我们确定了一套精选的工具，但我们坚信该实现提供的主要价值是快速创建和共享自定义工具的能力。
22｜再探HuggingFace：一键部署自己的大模型
qq_37756660的博客
02-02 1万+
过去几讲里，我们一起为 AI 加上了语音能力。而且相对于大语言模型，语音识别和语音合成都有完全可以用于商业应用的开源模型。事实上，Huggingface 的火爆离不开他们开源的这个 Transformers 库。这个开源库里有数万个我们可以直接调用的模型。很多场景下，这个开源模型已经足够我们使用了。不过，在使用这些开源模型的过程中，你会发现大部分模型都需要一块不错的显卡。而如果回到我们更早使用过的开源大语言模型，就更是这样了。在课程里面，我们是通过用 Colab 免费的 GPU 资源来搞定的。
炸裂！Hugging Face 发布重磅更新，人手一个 AutoGPT！
GitHubDaily
05-11 693
公众号关注“GitHubDaily”设为 “星标”，每天带你逛 GitHub！Hugging Face，作为 AI 开源圈最为知名的「网红」创业公司，成立仅几年，便在 GitHub 开源了诸多实用开源项目，受到了不少开发者的赞赏。其中影响力最大的，也被很多人称为初代 GPT 的 Transformers，截至今天，GitHub Star 累积将近 10 万。这几年，在 Hugging Face ...
Spring AI-44.Transformers (ONNX) 嵌入模型集成指南
无
06-15 23
Spring AI 集成ONNX嵌入模型指南摘要 Spring AI通过ONNX格式支持本地运行Hugging Face嵌入模型（如all-MiniLM-L6-v2）。开发者需先用optimum-cli转换模型为ONNX格式，添加spring-ai-starter-model-transformers依赖后，可通过配置文件指定模型路径、GPU加速及分词选项。自动配置时直接注入EmbeddingModel接口，或手动实例化TransformersEmbeddingModel。性能优化包括启用GPU（需onnx
Spring AI-46.PostgresML 嵌入模型集成指南
无
06-15 20
Spring AI 集成 PostgresML 嵌入模型指南 Spring AI 通过 PostgresML 扩展在 PostgreSQL 中直接生成文本嵌入向量，结合 Hugging Face 预训练模型实现高效的向量搜索和机器学习处理。核心步骤包括： 环境配置：安装 pgml 扩展并添加 Spring AI 依赖 参数设置：指定模型（如 distilbert-base-uncased）、向量类型（PG_ARRAY/PG_VECTOR）等 功能实现：支持自动注入或手动配置嵌入模型，动态切换模型参数 性能优
Spring AI-16.聊天模型 API （Chat Model API）
无
06-13 20
Spring AI 的聊天模型 API 提供了与 AI 驱动的对话系统交互的统一接口，支持 GPT 等主流语言模型。核心包括 ChatModel 和 StreamingChatModel 接口，分别处理常规和流式响应，通过 Prompt 类封装输入消息和配置。API 支持多模态内容和工具调用，可集成图像/音频处理及外部服务。响应包含 ChatResponse 和 Generation 结构，统一不同供应商的输出格式。该设计遵循 Spring 模块化原则，简化了 AI 模型集成，适用于聊天机器人、智能客服等场
再探HuggingFace：一键部署自己的大模型
echohuangshihuxue的博客
08-28 2231
过去几讲里，我们一起为AI加上了语音能力。而且相对于大语言模型，语音识别和语音合成都有完全可以用于商业应用的开源模型。事实上，Huggingface的火爆离不开他们开源的这个Transformers库。这个开源库里有数万个我们可以直接调用的模型。很多场景下，这个开源模型已经足够我们使用了。不过，在使用这些开源模型的过程中，你会发现大部分模型都需要一块不错的显卡。而如果回到我们更早使用过的开源大语言模型，就更是这样了。在课程里面，我们是通过用Colab免费的GPU资源来搞定的。
如何在https://huggingface.co/spaces中创建自己的远程服务器并部署AI相关项目并利用gradio创建界面（获取免费chatgpt的API_key）
weixin_44162814的博客
04-25 1885
这时候代码有了，但是缺少python里面import的一些库环境，还需要下载这些库，创建requirements.txt文件默认下载，系统会在修改完文件后，自动重启服务器并下载requirements里面的库，只需下载一次。下面这个网址可以免费获取chatgptAPI,但是免费版每天只有100条对话。这个默认服务器运行app.py文件。是通过README.md文件里面的。首先现在这个spaces里面创建自己的空间，相当于小型服务器。这个就可以用外部链接访问啦！
huggingface(一)
m0_73944777的博客
03-20 2430
Hugging Face（简称为hf）作为深度学习以及大模型领域的一条必经之路，其在数据与模型的完备性还有多样性上，是我们值得依赖的一个网站。所以学习并熟练使用hf这个平台是非常重要的。
【Hugging Face】API申请 与 用途解析
最新发布
qq_62223405的博客
06-28 963
Hugging Face 不只是模型库，它是 AI 应用从开发、训练到部署的全栈平台。
Spring AI 与 Hugging Face 深度集成：打造高效文本生成应用
-曾牛的博客
05-12 980
Spring AI 与 Hugging Face 的深度集成为开发者提供了高效的文本生成应用构建方案。Hugging Face 的 Text Generation Inference（TGI）通过连续批处理、令牌流式处理和高效内存管理技术，优化了大型语言模型的部署和推理性能。Spring AI 通过与 Hugging Face 的集成，简化了模型的配置和使用，开发者可以通过自动或手动配置快速实现文本生成功能。集成过程包括创建推理终端节点、生成 API 令牌、添加依赖和配置属性等步骤。无论是简单的文本生成还是
API身份验证和授权介绍
weixin_42646630的博客
04-15 1万+
一、前言 用户通常需要注册API KEY或者其他验证方法，才能使用你的服务，一般我们会用到一下集中验证方式 API Keys Basic Auth HMAC OAuth 身份验证：指证明正确的身份， 授权： 允许的动作 API可能会对您进行身份验证，但未授权您发出特定的请求 API缺乏安全性的后果 为什么API需要身份验证，API没有安全性，用户可以任意注册即可无限次访问和调用API，且没有请求与特定用户数据关联的简单方法，就无法防止恶意用户的恶意请求等。 二、API Key
无需OpenAI API Key，构建个人化知识库的终极指南
DreamsArchitects的博客
05-20 7431
无需OpenAI API Key 也可以实现本地知识库，本文介绍如何使用LangChain + LLM 构建个人知识库
手把手教你玩Hugging Face
cuiyuan605的专栏
04-19 2万+
手把手教你在Hugging Face上玩人工智能
使用spring-ai-alibaba本地集成ollama+deepseek
04-01
要在本地环境中将 Ollama 和 DeepSeek 集成到基于 Spring 的项目中（假设使用 spring-ai-alibaba），需要完成以下几个关键步骤。以下是详细的介绍： --- ### **一、背景知识** Ollama 和 DeepSeek 均为大模型推理引擎，提供强大的文本生成能力。而 Spring-AI-Alibaba 是阿里巴巴提供的一个 AI 开发套件，可以帮助开发者更轻松地整合第三方 AI 能力。 在此场景下，我们需要搭建一个本地服务架构，使得用户可以通过 Spring 应用程序调用 Ollama 和 DeepSeek 提供的功能。 --- ### **二、准备工作** 1. **安装 Ollama** 官方文档：https://ollama.ai/ 下载对应平台的二进制文件并启动服务，默认监听地址为 `http://localhost:11434`。 2. **下载 DeepSeek 模型** 如果你需要自托管 DeepSeek 模型，可以从 Hugging Face 获取对应的权重文件，并将其部署到你的系统上。 3. **创建 Spring Boot 工程** 创建一个新的 Spring Boot 项目（推荐使用 https://start.spring.io 初始化）。确保加入以下依赖： ```xml <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-ai-alibaba-starter</artifactId> <version>x.x.x</version> </dependency> ``` 4. **配置 HTTP 请求工具** 可以选择 RestTemplate 或 WebClient 来发送请求给 Ollama 和 DeepSeek API。 --- ### **三、核心代码实现** #### **1. 配置 Ollama 和 DeepSeek 地址** 在 `application.yml` 中定义两者的访问路径： ```yaml ollama: url: http://localhost:11434/generate deepseek: url: http://localhost:7860/api/inference # 替换为你实际的服务端口 ``` #### **2. 封装请求方法** 编写统一的接口用于向两个外部服务发起调用： ```java import org.springframework.http.HttpEntity; import org.springframework.http.HttpHeaders; import org.springframework.stereotype.Service; import org.springframework.web.client.RestTemplate; @Service public class AiService { private final String ollamaUrl; private final String deepseekUrl; private final RestTemplate restTemplate = new RestTemplate(); public AiService() { this.ollamaUrl = "http://localhost:11434/generate"; this.deepseekUrl = "http://localhost:7860/api/inference"; // 示例URL } /** * 发送请求到 Ollama */ public String callOllama(String prompt) { HttpHeaders headers = new HttpHeaders(); headers.set("Content-Type", "application/json"); Map<String, Object> body = Map.of( "prompt", prompt, "mo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员勇哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值