FastGPT部署和OneAPI部署

FastGPT模型管理

FastGPT只支持openai 格式的restful 的api接口。 就是 chat/completion那个接口。如果不理解可以参考这个文章 https://zhuanlan.zhihu.com/p/656959227 。 支持Python 。JAVA 等后端语言或者 http 访问

因此如果想访问大模型，有以下几种方案；

1、openai gpt：翻墙并注册ChatGPT账号，并创建API key （以前有免费5美刀额度，现在不知道有没有了）

2、openai gpt 套壳：用国内的代理服务，一般要收费，比如New API 随充随用， 创建令牌（token）就行了， 然后填写openai base url 和token （sk开头的）

3、本地模型转openai 格式：用vllm ，transformer ， swift ，ollama等方式启动一个本地模型， 也可以变成一个openai的服务。然后进行访问

4、国产大模型api兼容openai格式：注册kimi，kimi完全兼容openai格式。代码如下

from openai import OpenAI
# 注册kimi账号 ，并且充值api调用额度
#https://platform.moonshot.cn/console/api-keys
url = "https://api.moonshot.cn/v1"
MOONSHOT_API_KEY = 'sk-xxxx自己去注册'#os.getenv("MOONSHOT_API_KEY")

 
client = OpenAI(
    api_key= MOONSHOT_API_KEY,
    base_url=url,
)
completion = client.chat.completions.create(
  model="moonshot-v1-8k",
  messages=[
    {"role": "system", "content": "你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。"},
    {"role": "user", "content": "你是谁"}
  ],
  temperature=0.3,
)

print(completion.choices[0].message.content)

FastGPT部署脚本

# 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码，记得改数据库和项目连接参数，别只改一处~
# 该配置文件只是给快速启动，测试使用。正式使用，记得务必修改账号密码，以及调整合适的知识库参数，共享内存等。
# 如何无法访问