- 博客(10)
- 收藏
- 关注
RSS订阅原创 llama-factory微调deepseek，并导入ollama(包含遇到的问题）
home/cyl/test/train-deepseek-1.5b-gguf/model.guff是你转化为guff的存储路径。1、因为我们llam-factory输出的格式为.safetensors格式，需要先转换为guff格式。1、在/home/cyl/test/train-deepseek-1.5b-gguf路径下创建一个。/home/cyl/test/train-deepseek-1.5b是微调好的模型存储路径。注意：该指令需要进入llama.cpp根目录下执行，并且进入刚刚创建的环境中。
2025-03-19 17:40:46
379
原创 dify突然无法打开网页管理界面，以及如何切换版本
进入到/dify2/dify/docker中，右击docker-compose.yaml，用文编辑器打开，加入。系统：ubuntu20.04。
2025-03-11 17:31:26
450
原创 ubuntu部署xinference，以及接入dify（涵盖遇到的所有坑，超级详细版）
因为dify中ollama没办法拉取rerank模型，使用需要本地部署xinference来拉取rerank模型。这里的/home/cyl/xinference_models修改为你自己的路径。解决：在xinference这个虚拟环境中安装cuda和pytorch！1、先创建一个虚拟环境，把xinference安装在这个环境中。注意：python的版本不能高于3.10，否则安装会出现问题。先别着急下载，我们先更改xinference的模型下载路径。在重新启动xinference，即可完成修改路径。
2025-02-28 16:37:10
513
原创 ubuntu安装cuda、cudnn、pytorch
一、安装cuda，查看可以安装的版本，打开终端输入nvidia-smi，查看cuda version版本，这里12.2建议安装≤12.2版本，这里安装12.1。这里建议把cuda、pytorch安装在虚拟环境中，这样你需要不同版本的cuda时，可以直接在创个环境安装即可！在安装的时候可以回遇到各种各样的问题，可以把问题发给AI，询问AI解决办法，祝大家都能成功安装！有你需要的版本可以直接进行安装，没有的话下载安装包安装，9.1.17可以满足12.x的版本。安装好后，执行指令，查看是否安装成功。
2025-02-28 10:30:16
384
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人