自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

LZXCyrus的博客

博客等级

码龄4年

27
原创

608
点赞

585
收藏

6539
粉丝

关注

私信

热门文章

分类专栏

最新评论

【工程记录】金融大模型：DISC-FinLLM 部署的详细教程（Windows）
白帽子续命指南: 现在 Hugging Face 上是不是没有权值文件了啊
【杂记】vLLM多卡推理踩坑记录
LZXCyrus: 这可能也是worker进程之间无法正常通信导致的，可以参考这个：https://huo.zai.meng.li/p/vllm启动时nccl遇到显卡p2p通信问题/
【杂记】vLLM多卡推理踩坑记录
夜瑾: 大佬，请教下,单卡推理正常，然后多卡就会出现如下卡住了，且同一个容器，在测试环境可以，一到另一个就出现如下错误，很离谱.....，您有遇到过类似的吗 [W513 02:43:55.168160995 socket.cpp:204] [c10d] The hostname of the client socket cannot be retrieved. err=-3 [W513 02:44:05.178329425 socket.cpp:204] [c10d] The hostname of the client socket cannot be retrieved. err=-3 (VllmWorkerProcess pid=633) INFO 05-13 02:44:05 [utils.py:1055] Found nccl from library libnccl.so.2 INFO 05-13 02:44:05 [utils.py:1055] Found nccl from library libnccl.so.2 (VllmWorkerProcess pid=633) INFO 05-13 02:44:05 [pynccl.py:69] vLLM is using nccl==2.21.5 INFO 05-13 02:44:05 [pynccl.py:69] vLLM is using nccl==2.21.5
【工程记录】QwQ-32b 8bit量化部署教程（vLLM | 缓解复读）
LZXCyrus: gguf就是为 llama.cpp设计的，当然速度会更快，用vLLM加载gguf出现性能警告是正常的，但是也能用，我写这个主要是懒得换推理框架
【工程记录】QwQ-32b 8bit量化部署教程（vLLM | 缓解复读）
weixin_46918065: vllm加载gguf文件会报警告：gguf quantization is not fully optimized yet. The speed can be slower than non-quantized models. 请问gguf是不是得用llamacpp加载？

论文笔记

关注

文章平均质量分 95

关注数：文章数：6 文章阅读量：11313 文章收藏量：105

作者: LZXCyrus

这个作者很懒，什么都没留下…

展开

专栏收录文章