Chainlit 快速构建Python LLM应用程序

背景

chainlit 是一款简单易用的Web UI goggle，它支持使用 Python 语言快速构建 LLM 应用程序，提供了丰富的功能，包括文本分析，情感分析等。
这里我们以官网openai提供的例子，快速的开发一个带有UI的聊天界面，且支持MCP方式。
鉴于国内需要VPN访问openai的模型问题， 我们以 chainlit + deepseek(openai) 的方式进行演练。

获取deepseek apikey

通过deepseek官网登陆 获取到apikey ，对于api的调用的话，这里也提供了一些案例

结合OpenAi

from openai import AsyncOpenAI
import chainlit as cl
client = AsyncOpenAI(api_key='xxx', base_url='https://api.deepseek.com/v1')

# Instrument the OpenAI client
cl.instrument_openai()

settings = {
    "model": "deepseek-reasoner"
    # "temperature": 0,
    # ... more settings
}

@cl.on_message
async def on_message(message: cl.Message):
    response = await client.chat.completions.create(
        messages=[
            {
                "content": "你是个很有帮助的机器人，总是又中文回复",
                "role": "system"
            },
            {
                "content": message.content,
                "role": "user"
            }

        ],
        stream=True,
        **settings
    )
    await cl.Message(content=response.choices[0].message.content).send()

这里面的 api_key 用你在deepeeek 申请到的 api_key替换即可。

用一下命令运行:

chainlit run app.py -w --port 8010

访问http://localhost:8010,接下来就可以进行交互了