
LLM
文章平均质量分 57
盛世芳华
全栈
展开
-
FastGPT编译前端界面,并将前端界面映射到Docker容器中
具体原因不明,但前端实际上已经编译成功了,在projects/app目录下输入ll命令,能看到一个.next文件夹,这个文件夹存放的就是编译后的前端文件。注意:编译过程中会出现非常多的提示,但只要出现 ✓ Compiled successfully就说明已经编译成功。通过浏览器localhost:3000即可热修改,如果首次执行提示错误,则重新执行一下命令即可。此时会自动下载依赖包,这里如果执行npm install的话,会出现各种错误。4、前端代码都在projects/app目录下,修改即可。原创 2024-04-25 10:54:31 · 1734 阅读 · 4 评论 -
docker部署通义千问-7B-Chat的openai-api环境
服务器环境:显卡驱动:Driver Version: 530.30.02CUDA版本:CUDA Version: 12.1显卡:NVIDIA GeForce RTX 3090共4张注意:最好把显卡驱动升级到530,CUDA版本之前使用11.7有问题。原创 2024-04-23 17:54:08 · 2190 阅读 · 3 评论 -
docker部署m3e-large-api环境
因为容器里的执行脚本中,判断了key是不是等于 “sk-aaabbbcccdddeeefffggghhhiiijjjkkk”,key不一致会出现401错误。用CPU就挺快的,所以我没把显卡映射到docker容器中,但从容器的代码中能看到,只要把显卡映射到容器就能自动判断是否有显卡。注意:密钥一定要配置成“sk-aaabbbcccdddeeefffggghhhiiijjjkkk”也可以在docker-compose.yml的environment中自定义key的值。然后把m3e配置到one-api。原创 2024-04-22 13:59:16 · 4595 阅读 · 1 评论 -
docker容器搭建chatglm3-6b的openai api接口
服务器环境:显卡驱动:Driver Version: 530.30.02CUDA版本:CUDA Version: 12.1显卡:NVIDIA GeForce RTX 3090共4张注意:最好把显卡驱动升级到530,CUDA版本之前使用11.7有问题。原创 2024-04-22 08:26:51 · 823 阅读 · 0 评论 -
docker容器搭建chatglm2-6b
默认安装了cuda11.8版本,所以宿主的CUDA版本一定要>=cuda11.8,否则安装后仍然提示错误:RuntimeError: Unexpected error from cudaGetDeviceCou。注意:最好把显卡驱动升级到530,CUDA版本之前使用11.7有问题。把chatglm2-6b接入到fastgpt,秒级反应,效果不错。用的是int4量化模型,实际对话过程中发现并没有使用显卡!CUDA版本:CUDA Version: 12.1。原创 2024-04-20 14:41:05 · 288 阅读 · 0 评论