- 博客(3)
- 收藏
- 关注
RSS订阅原创 昇腾910B安装vllm docker
在安装vllm之前，确保你的服务器上有conda环境和docker，在OpenEuler上安装miniconda和docker的教程我贴在下面，我实际也是按照这两篇文章步骤来做的，中间出现报错就复制错误信息问AI（善用大模型）等待docker镜像下载完，直接进入docker容器内后拿官方给的示例代码跑一下试试。这是我的控制台输出，看起来有一些问题，但是最后还是输出了预期的Generated text。这里我是在容器外下的，然后用docker cp 命令复制到容器内。example.py代码。
2025-10-23 09:15:12
984
原创 mineru+dify改善dify中RAG解析pdf性能和效果
上一篇文章中我们部署了mineru的API，在此基础上，默认dify也已经部署好，想要修改dify中上传知识库的pdf解析效果，联动mineru。主要是增加了mienru_parse函数简单调用了api，并将结果保存dify封装的Document类中。
2025-04-17 17:18:53
1439
2
原创 部署mineru docker流程以及踩的坑
4）在build这一步，如果docker没有更改过配置源，90%会报错，这里给一个临时的解决办法，在Dockerfile里第一行改成（这里以我当时拉取的项目版本为例）接下来要做的就是等待，如果中间报错，80%都是因为docker源的问题，解决不掉就老实配源吧。2）在requirements.txt 中加一行modelscope，用于模型下载。在docker部署完成后，执行docker ps 命令，结果如下则证明部署成功。1）修改download_models.py，直接替换。
2025-04-17 16:49:50
5601
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人