- 博客(2)
- 收藏
- 关注
RSS订阅原创 【支持帕斯卡pascal架构的vllm】分享一个支持pascal架构（算力6.0-6.1左右）n卡（p104-100、p100、p40之类老款显卡/计算卡）的vllm项目
环境是：x99寨板，双路E5-2683 v4 ，64g内存，256固态硬盘，2t移动机械硬盘，四卡p104-100，单卡8g显存，ubuntu 22.04 server, 启动成功后内存仅剩 34g，每张卡显存占用 7226/8192。速度在10tokens/s到20tokens/s之间，时快时慢，不过比ollama只能10tokens/s要好多了，也能利用vllm优势并发。本文同时发布于cnblogs(四方云)和csdn（四方雲）
2025-03-18 21:49:21
301
1
原创 java中对象属性去null 赋默认值,参考笔记
主体内容参考链接: link.和链接: link.import Java.lang.reflect.Field;import java.lang.reflect.Method; private void setFeidValueNotNull (Object obj) throws Exception{ for (Field field: obj.getClass(...
2019-08-09 16:11:01
5447
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人