搭建一个fastapi的项目，调用ollama服务

1. 项目结构

my_project/
│
├── app/
│   ├── main.py            # FastAPI应用的入口
│   ├── services/          # 包含服务逻辑
│   │   └── ollama_service.py
│   ├── models/            # 定义数据模型
│   │   └── response.py
│   ├── utils/             # 工具类，帮助类
│   │   └── file_utils.py
│   └── Dockerfile         # 用于构建应用的 Dockerfile
│
├── docker-compose.yml     # Docker Compose 配置
└── requirements.txt       # Python依赖

2. 代码实现

2.1 app/main.py — FastAPI 应用入口

from fastapi import FastAPI, File, UploadFile
from fastapi.responses import JSONResponse
from app.services.ollama_service import get_image_response
from app.utils.file_utils import save_temp_image, remove_temp_image

app = FastAPI()

@app.post("/upload-image/")
async def upload_image(file: UploadFile = File(...)):
    try:
        # 保存上传的图片为临时文件
        tmp_path = await save_temp_image(file)

        # 调用 Ollama 服务处理图片
        response = await get_image_response(tmp_path)

        # 删除临时文件
        await remove_temp_image(tmp_path)

        return JSONResponse(content={"response": response}, status_code=200)

    except Exception as e:
        return JSONResponse(content={"error": str(e)}, status_code=500)

2.2 app/services/ollama_service.py — 处理 Ollama 服务

import ollama

async def get_image_response(image_path: str):
    """调用 Ollama API 获取图像分析结果"""
    response = ollama.chat(
        model='llama3.2-vision',
        messages=[{
            'role': 'user',
            'content': 'What is in this image?',
            'images': [image_path]
        }]
    )
    return response

2.3 app/utils/file_utils.py — 文件操作工具类

import os
from tempfile import NamedTemporaryFile
from fastapi import UploadFile

async def save_temp_image(file: UploadFile):
    """保存上传的图片为临时文件"""
    with NamedTemporaryFile(delete=False, suffix=".jpg") as tmp:
        tmp.write(await file.read())
        tmp_path = tmp.name
    return tmp_path

async def remove_temp_image(file_path: str):
    """删除临时文件"""
    if os.path.exists(file_path):
        os.remove(file_path)

2.4 app/Dockerfile — Docker 文件

# 使用官方 Python 镜像作为基础镜像
FROM python:3.9-slim

# 设置工作目录
WORKDIR /app

# 复制本地的 requirements.txt 并安装依赖
COPY requirements.txt /app/requirements.txt
RUN pip install --no-cache-dir -r requirements.txt

# 复制本地代码到容器内
COPY ./app /app

# 启动 FastAPI 应用
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000", "--reload"]

2.5 requirements.txt — Python 依赖

fastapi
uvicorn
ollama
python-multipart

2.6 docker-compose.yml — Docker Compose 配置

version: '3.8'

services:
  app:
    build: ./app
    container_name: fastapi-ollama
    ports:
      - "8000:8000"
    volumes:
      - ./app:/app
    environment:
      - OLLAMA_API_KEY=your_ollama_api_key  # 如果需要，设置 Ollama API 密钥
    depends_on:
      - ollama_api  # 仅在有需要调用 Ollama 服务的情况下

3. 部署流程

1. 构建 Docker 镜像：
   在项目根目录下运行以下命令来构建 Docker 镜像：

   docker-compose build
   

2. 启动应用：
   使用 Docker Compose 启动服务：

   docker-compose up
   

   这会启动 FastAPI 应用，并且在浏览器访问 http://localhost:8000 可以看到 FastAPI 服务正在运行。

3. 访问上传接口：
   使用 Postman 或者任何 HTTP 客户端，向 http://localhost:8000/upload-image/ 发送 POST 请求，上传图像文件，并查看返回的 ollama 结果。

4. 结论

通过这个结构和 Docker Compose 部署方式，项目分层清晰，确保了每个模块的职责单一。main.py 处理 FastAPI 的路由，ollama_service.py 负责与 Ollama 的交互，file_utils.py 负责文件操作，并且整个项目通过 Docker Compose 可以非常方便地部署和管理。

确保在需要调用 Ollama 服务时，有正确的 API 密钥和配置。如果 Ollama 服务本身也需要容器化，你可以在 docker-compose.yml 文件中添加相应的服务配置。