A3. Springboot3.x集成LLama3.2实战

本文将介绍集成ollama官网提供的API在Springboot工程中进行整合。由于没找到java-llama相关合适的sdk可以使用，因此只好对接官方给出的API开发一套RESTFull API服务。下面将从Ollama以下几个API展开介绍，逐渐的了解其特性以及可以干些什么。具体llama API说明可参数我前面写的《A2. 大语言模型llama API服务调研》文章，根据官网整理出来的参数定义与数据响应说明等。

• Ollama Version（版本接口）
• List Local Models（列出本地可用的模型）
• List Running Models（列出已加载到内存即正式运行的模型）
• Create a Model（创建一个模型）
• Show Model Information（查看模型信息）
• Copy a Model（复制模型）
• Delete a Model（删除一个模型）
• Pull a Model（拉取一个模型）
• Push a Model（推送一个模型）
• Generate Embeddings（文本嵌入-将文本转换为固定维度的向量）
• Generate a completion（根据提示生成答复性文本）
• Load a Model （加载模型到内存）
• Unload a Model（从内存中卸载模型）
• Generate a chat completion（根据对话内容生成内容）

Springboot工程创建及基础组件引用

这里请参考我前面写的《Springboot3.x工程创建及必要引用（基础篇）》这篇文章，因为这里直接用API方式，并未涉及其它特殊三方包的引用。

添加服务开发基础框架

1. 导入导入服务基础依赖包

仓库地址：https://mvn.geease.com/repository/cloud-group/

<dependency>
    <groupId>com.eyinfo</groupId>    
    <artifactId>webx</artifactId>
    <version>1.0.22</version>
</dependency>

Ollama服务基础地址

即是你Springboot项目部署机器或容器所对应的主机地址（这里记为baseUrl=http://:）
以下接口实现服务的jar包已发布到mavenCentral中央仓库，请前往下载后部署到自己的服务上即可。

Ollama Version（版本接口）

请求方式：GET
请求路径：baseUrl/llama/version
响应参数：

字段	描述
version	ollama大模型工具盒子版本

响应示例：

{
   
    "code": 0,
    "msg": "success",
    "data": {
   
        "version": "0.5.4"
    }
}

List Local Models（列出本地可用的模型）

请求方式：GET
请求路径：baseUrl/llama/models
响应参数（结果中单个对象各字段说明）：

字段	描述
size	模型大小，以字节为单位
name	模型版本名称
digest	模型的校验和，用于验证模型的完整性。这个字段是一个哈希值，确保模型在传输过程中没有被篡改。
model	模型类型
details
|— parent_model	父模型
|— format	模型格式
|— family	模型系列
|— families	模型系列列表。这里重复提到了"mllama"，可能是一个错误或者表示该模型属于多个系列
|— parameter_size	模型参数大小，以字节为单位
|— quantization_level	量化级别
modified_at	模型最后修改的时间

响应示例：

{
   
    "code": 0,
    "msg": "success",
    "data": [
        {
   
            "size": 4661224786,
            "name": "mario_copy:latest",
            "digest": "aa1ae71e221765d5e1d16003b62f275a28a14d5e9611fe5be769a13050732a67",
            "model": "mario_copy:latest",
            "details": {
   
                "parent_model": "",
                "format": "gguf",
                "family": "llama",
                "families": [
                    "llama"
                ],
                "parameter_size": "8.0B",
                "quantization_level": "Q4_0"
            },
            "modified_at": "2025-01-11T16:44:27.715875862+08:00"
        }
    ]
}

List Running Models（列出已加载到内存即正式运行的模型）

请求方式：GET
请求路径：baseUrl/llama/running/models
响应参数：参考List Local Models（列出本地可用的模型）
响应示例：参考List Local Models（列出本地可用的模型）

Create a Model（创建一个模型）

请求方式：POST
请求路径：baseUrl/llama/model/create
请求参数：

参数名	描述
model	指定创建的模型名称
modelfile	（可选）：模型文件的内容
stream	（可选）如果是false，响应将作为单个响应对象返回，而不是对象流
path	（可选）：模型文件的路径
quantize	（可选）：创建非量化（例如float16）模型 量化类型：q2_K、q3_K_L、q3_K_M、q3_K_S、q4_0、q4_1、q4_K_M、q4_K_S、q5_0、q5_1、q5_K_M、q5_K_S、q6_K、q8_0

请求示例：

curl baseUrl/llama/model/create -X POST -H "Content-Type: application/json" -d '{
  "model": "mario",
  "modelfile": "FROM llama3\nSYSTEM You are mario from Super Mario Bros."
}'

调用模型（Java调用Ollama API创建模型关键代码）：

WebClient webClient = webClientBuilder.baseUrl(lLamaConfig.getHost()).build();
return webClient.post()
        .uri("/api/create")
        //设置参数接收数据类型
        .contentType(MediaType.APPLICATION_JSON)
        //这里设置参数对象
        .bodyValue(modelRequest)
        //接收三方API流式响应数据类型,以文本流方式
        .accept(MediaType.TEXT_EVENT_STREAM)
        .retrieve()
        .bodyToFlux(String.class);

响应示例：

data:{
   "status":"using existing layer sha256:6a0746a1ec1aef3e7ec53868f220ff6e389f6f8ef87a01d77c96807de94ca2aa"}

data:{