使用OneAPI创建LLM访问API Key

OneAPI 是一个能替代 springdoc-openapi/Swagger 的 API 生产工具,既不需要修改后端代码,也不需要启动应用。 也支持导出 OpenAPI 3.0 协议数据,方便在其他工具中消费。

前面我们介绍了LobeChat需要配置LLM的API访问Key,今天你可以使用OneAPI创建各种开源大语言模型的API访问Key,而且该开源软件自带流量收费系统。可以同时为微信、网页、PAD应用提供LLM Key服务。

下面我们就介绍OneAPI的安装配置过程,并让OneAPI生成ollama的访问key,docker的安装方式我们略去,直截从代码安装开始。

1、安装npm

#安装npm
curl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash - && apt-get install -y nodejs
#安装pnpm
npm install pnpm -g

2、安装go语言

#下载软件包
wget https://golang.google.cn/dl/go1.19.3.linux-amd64.tar.gz

#安装
rm -rf /usr/local/go && tar -C /usr/local -xzf go1.19.3.linux-amd64.tar.gz

#将/usr/local/go/bin添加到PATH环境变量中
export PATH=$PATH:/usr/local/go/bin

3、克隆OneAPI代码库

git clone https://github.com/songquanpeng/one-api.git

构建前端

# 构建前端
cd one-api/web/default
npm install
npm run build

构建后端

# 构建后端
cd ../..
go mod download
go build -ldflags "-s -w" -o one-api

4、运行

chmod u+x one-api
./one-api --port 3000 --log-dir ./logs

5、问题解析

(1)国内go访问慢的问题如何解决,国内Golang开发由于网络环境的问题,经常会出现依赖无法下载的问题。需要通过 exportGO111MODULE=on 激活 go module,并执行下面的执令

export GOPROXY=https://goproxy.cn

(2)从外部访问ollama,这里略去ollama的安装,有需要了解ollama安装的小伙伴可以去前面的文章中搜索有关ollama的安装。

vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

重装装载ollama

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

6、OnetAPI的操作

(1)运行

访问 http://localhost:3000/ 并登录。初始账号用户名为 root,密码为 123456。

注意第一次运行需要修改root的密码。

(2)配置渠道

这个例子是模仿openai的API格式,名称:ollama,模型那里,你要自己填入llama的名字并加入。

重点是下面两项:

密钥:随便填。

代理:http://192.168.29.87:11434,这个是你配置的ollama的地址及端口。

然后提交。

点击测试,来测试一下连通性。

 (3)创建Key

点击令牌

名称:你自己定义

模型范围:你可以选择你在渠道里填写好的模型名称。

过期时间:我这里选的是永不过期。

额度:无限额。

以上配置大家可以根据需要息行设置。

然后提交

点击复制,你就可以得到一个ollama的访问key。

然后你可以填写到LobeChat的OpenAI里面试一下。

OneAPI也可以生成各类LLM应用所需要的Key。有兴趣的小伙伴可以去试试。 

### 如何配置和设置 API Key 为了能够顺利使用某项服务,通常需要完成以下几个方面的操作来配置和设置 API Key: #### 创建并激活 API Key 通过官方文档指引,可以前往指定页面创建所需的 API Key。例如,在阿里云的服务中,可以通过访问其提供的链接[^1] 来启动 DashScope 并生成对应的 API Key。 对于其他平台如 OneAPI,则需按照特定流程获取 LLM 访问权限以及相应的 API Key[^2]。 #### 安装必要的软件开发工具包 (SDK) 一旦获得了有效的 API Key 后,下一步就是安装对应服务商所提供的 SDK 或者库文件以便集成到项目当中。比如针对 AliCloud 的 DashScope 产品线就需要下载与之匹配版本号的 Python 库 `dashscope` [^1]: ```bash pip install dashscope==0.8.x ``` 而如果是基于 OneAPI 构建的应用程序环境,则可能涉及更多依赖关系管理等问题;不过这里假设已经具备运行条件之后可以直接进入下一环节——初始化客户端实例部分. #### 初始化客户端并与服务器建立连接 在成功引入外部模块后就可以着手构建实际调用逻辑了。以下是一个简单的例子展示如何利用刚刚提到过的两个不同来源所给予的支持来进行基本功能测试: ##### 使用 DashScope SDK 进行文本生成任务 ```python from dashscope import Generation response = Generation.call( model='qwen-max', prompt='请写一首关于秋天落叶的小诗。', ) print(response.output.text) ``` 此段脚本展示了怎样借助 Qwen 大模型执行创意写作类别的请求,并打印返回的结果内容。 ##### 配置 Ollama 模型并通过 OneAPI 实现交互 如果目标转向本地部署好的 ollama 模型集合上的话,那么同样存在类似的解决方案可供参考: ```python import oneai pipeline = oneai.Pipeline(steps=[ oneai.skills.Summarize(), ]) text = 'Your long text here...' result = pipeline.run(text) print(result.summaries[0].summary_text) ``` 上述代码片段说明当采用 OneAPI 封装后的接口形式时,也可以轻松达成类似目的即提取摘要信息等功能点。 ---
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BBM的开源HUB

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值