- 博客(7)
- 收藏
- 关注
RSS订阅原创 Docker部署Qwen2-vl-7b模型-vLLM
几秒钟后容器报错了，cuda out of memory,发现gpu占满了，但是只占用了一块，我明明指定了all，为啥只占用gpu0，而且测试发现如果如果指定–gpus ‘”device=1”’ 也可以运行在gpu1上 ，但是无论是指定all 还是0，1，都会只运行在gpu0上。这里的add后的模型路径一开始和dockefile文件路径不一致，docker build -t vllm_qwen2vl_7b:1.0 -f Dockerfile .一直报错。今天又是收货满满的一天！于是加上了，可以正常运行了。
2024-11-01 17:17:22
1517
原创 服务器无法连接huggingface下载模型
1.打开hugging face 官网：https://huggingface.co/docs/transformers/installation#offline-mode 并点击Models。1.访问网站：https://hf-mirror.com/通过后面的下载按钮下载圈出的五个文件到本地。点击file and versions。model.encode行报错。输入使用的模型，并点击模型。2.搜索我们需要的模型。4.上传文件到服务器。
2024-10-10 21:04:16
844
原创 mysql指定分隔符切分字符串并取前n个元素
有次在处理sql的时候，有一个字段是用逗号分隔的元素组合在一起的字符串，但是我后续python建模不需要这么多，所以就想着干脆为了后面python进行处理数据的时候少占用内存，于是在sql阶段就只选取前n个元素。
2024-10-01 17:41:29
223
1
原创 DataFrame list类型列转成array之后第二维带有array（）而不是[]
DataFrame list类型列转成array之后第二维带有array（）而不是[
2024-09-22 18:44:25
232
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人