Chainlit 快速构建Python LLM应用程序-优快云博客

背景

Chainlit 是一款简单易用的Web UI ，它支持使用 Python 语言快速构建 LLM 应用程序，提供了丰富的功能，包括文本分析，情感分析等。
这里我们以官网openai提供的例子，快速的开发一个带有UI的聊天界面，且支持MCP方式。
鉴于国内需要VPN访问openai的模型问题，我们以 chainlit + deepseek(openai) 的方式进行演练。

获取deepseek apikey

通过deepseek官网登陆获取到apikey ，对于api的调用的话，这里也提供了一些案例

结合OpenAi

from openai import AsyncOpenAI
import chainlit as cl
client = AsyncOpenAI(api_key='xxx', base_url='https://api.deepseek.com/v1')

# Instrument the OpenAI client
cl.instrument_openai()

settings = {
    "model": "deepseek-reasoner"
    # "temperature": 0,
    # ... more settings
}

@cl.on_message
async def on_message(message: cl.Message):
    response = await client.chat.completions.create(
        messages=[
            {
                "content": "你是个很有帮助的机器人，总是又中文回复",
                "role": "system"
            },
            {
                "content": message.content,
                "role": "user"
            }

        ],
        stream=True,
        **settings
    )
    await cl.Message(content=response.choices[0].message.content).send()

这里面的 api_key 用你在deepeeek 申请到的 api_key替换即可。

用一下命令运行:

chainlit run app.py -w --port 8010

快速部署大模型 openwebui + Ollama + deepSeek-R1模型

背景

本文主要快速部署一个带有web可交互界面的大模型的应用，主要用于开发测试节点，其中涉及到的三个组件为

首先 Ollama 是一个开源的本地化大模型部署工具,提供与OpenAI兼容的Api接口，可以快速的运行大模型服务,我们用他来部署deepseek。
open-webui 提供了用户友好的 AI 界面（支持 Ollama、OpenAI API 等），且能够支持多种大模型,我们可以部署除了deepseek以外的其他模型，可以很方便的在模型之间切换等功能。

部署步骤

Ollama的部署

因为我这边是Mac系统，直接点击下载Ollama-darwin.zip,之后安装就可以了.
安装好后，运行ollama --version，显示如下：

ollama version is 0.6.3

运行 DeepSeek-R1模型

Ollama 支持下载部署在 ollama lib以及 HuggingFace Modelscope的模型。
我们这里以ollama lib上的模型为例进行演示,运行如下命令就会下载并运行deepseek-r1模型

ollama run deepseek-r1:1.5b

这样我们就能够进行对话了

 ollama run deepseek-r1:1.5b
>>> Send a message (/? for help)

在这里可以进行提问了。
可以看到这里的交互界面很简单

运行 open-webui

在这里我们可以用conda新建一个虚拟环境

conda create --name python3.12 python=3.12

之后安装open-webui

pip install open-webui

启动open-webui

open-webui serve

浏览器输入http://localhost:8080/就可以访问并和deepseek进行交互了，默认是8080端口，也可以通过open-webui serve --port 8070这种方式指定端口去启动

注意第一次进去的时候，需要输入管理员密码。且需要等一段时间才能看到运行的模型

额外

我们可以直接访问deepseek提供的在线chat平台deepseek去聊天