- 博客(3)
- 收藏
- 关注
RSS订阅转载 大模型推理指南：使用 vLLM 实现高效推理
本文主要分享如何使用 vLLM 实现大模型推理服务。1. 概述大模型推理有多种方式比如最基础的 HuggingFace TransformersTGIvLLMTriton + TensorRT-LLM...其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下如何使用 vLLM 来启动大模型推理服务。根据 vLLM 官方博客 vLLM: Easy...
2024-11-24 03:24:39
854
转载 centos安装单实例redis-详细
一.简介redis是NoSQL类的缓存数据库，基于键-值型的存储，不仅是内存中的缓存，还提供持久存储。redis整个运行是在内存中实现的，它的所有的数据集都是保存在内存中的，内存中的数据会周期性的写入到磁盘上，以实现数据的持久功能。redis是单线程服务器，只有一个线程来响应所有的请求，因此适用于适合少用户访问，每个用户大...
2024-07-08 02:06:56
30
转载 linux 指定python版本
Linux,Python相关视频讲解：用vim复制粘贴_保持双手正位python的or运算赋值用法用python编程Excel有没有用处？如何在Linux系统中指定Python版本作为一名经验丰富的开发者，你可以帮助刚入行的小白学会如何在Linux系统中指定Python版本。这将有助于他更好地管理不同项目所需的Py...
2024-07-03 03:06:16
436
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人