AI
关注
分享
扫一扫
文章平均质量分 82
星空凡锦
这个作者很懒，什么都没留下…
展开
-
VLLM-0.7.2中文配置参数
参数对照针对vllm0.7.2版本做的中文翻译对照，参数由模型自动翻译，可能存在不准确情况，使用时仔细甄别，我只用了一部分参数。原创 2025-02-17 09:38:37 · 3501 阅读 · 0 评论 -
vllm多卡部署开源模型（二）
继续上一篇【先说一下使用时的一些问题，我截取了一些并发响应。原创 2025-02-17 10:26:40 · 226 阅读 · 0 评论 -
vllm多卡部署开源模型（一）
背景：最近准备私有化一个语言模型，在问题理解，意图分析，数据组合等业务上，进行更好的理解，记录一下过程。【未完待续，吃饭中。4. embedding模型。5. rerank模型。原创 2025-01-03 12:05:49 · 2023 阅读 · 0 评论 -
langchain 0.2【2024-06-23】安装及连接本地llama3模型
langchain 0.2版本 llama3 本地知识库原创 2024-06-24 17:30:25 · 1332 阅读 · 0 评论 -
chat TTS【2024-06-19版本】安装及问题
【我的代码下载的是2024-06-19的#365版本】运行环境win11，python3.10，vscode。原创 2024-06-20 16:13:23 · 1760 阅读 · 2 评论