周的技术博客

原创 vllm多卡部署开源模型（二）

继续上一篇【先说一下使用时的一些问题，我截取了一些并发响应。

原创 VLLM-0.7.2中文配置参数

参数对照针对vllm0.7.2版本做的中文翻译对照，参数由模型自动翻译，可能存在不准确情况，使用时仔细甄别，我只用了一部分参数。

原创 vllm多卡部署开源模型（一）

背景：最近准备私有化一个语言模型，在问题理解，意图分析，数据组合等业务上，进行更好的理解，记录一下过程。【未完待续，吃饭中。4. embedding模型。5. rerank模型。

原创 langchain 0.2【2024-06-23】安装及连接本地llama3模型

langchain 0.2版本 llama3 本地知识库

原创 chat TTS【2024-06-19】工具

一个不错的exe桌面TTS工具，免安装，解压就可以用。环境已经配置好了。

原创 chat TTS【2024-06-19版本】安装及问题

【我的代码下载的是2024-06-19的#365版本】运行环境win11，python3.10，vscode。

原创 JVM优化