- 博客(15)
- 收藏
- 关注
RSS订阅原创 在无图形界面的服务器上运行 LM Studio
LM Studio 是一个强大的本地大模型管理和运行工具，但它本身是一个图形化（GUI）应用。本文将详细介绍如何在只有命令行的无头（Headless）服务器上，通过一些技巧成功运行 LM Studio 并使用其命令行工具（CLI）进行模型的下载、加载和交互。
2025-08-11 22:53:48
1928
原创 docker迁移[fastgpt]
## 本文不是教程只是作为技术文档存放，迁移项目以fastgpt为测试。所以所有环境均以fastgpt环境为准。
2025-08-08 11:59:03
899
原创 OpenAI规格 API接口使用说明[视觉多模态vl]
除了 Bearer Token，也支持通过 URL 参数传递 API Key。“text”: “请描述这张图片的内容”在请求头 (Header) 中加入。
2025-07-29 00:02:28
634
原创 夜莺监控系统部署
直接用./victoria-metrics-prod 运行或者nohup ./victoria-metrics-prod。通过./categraf 或者nohup ./categraf &> categraf.log &挂在后台运行。在仪表盘-监控仪表盘-业务组-DefaultbusiGroup-导入-导入内置仪表盘-linux。启动夜莺./n9e运行或者nohup ./n9e &> n9e.log &放在后台运行。配置段可以有多个，这样夜莺接收到数据之后，就会把数据同时写到多个后端时序库。
2025-07-28 00:03:35
1152
原创 夜莺监控部署说明[Nightingale]
本文档将详细介绍夜莺监控系统的使用方法，帮助更好地接入主机监控服务、配置数据采集插件、导入仪表盘以及管理告警。
2025-07-27 23:59:36
1176
原创 对于docker网络的理解
docker网络在docker的网络中容器部署了应用而端口映射是“3001:3002”[宿主机网段端口:容器网段端口]初学的时候以为3002是将容器监听在容器网络3002端口的意思实际上的意思是，而至于3002端口跟容器的关系？大部份的时候是直接将容器监听在3002端口上，但是曾经遇到过我将一个postgre容器运行在20010网段上 ，但是这个容器还是监听在默认的postgre5432端口，导致宿主机映射到20010网段而找不到服务。所以正确的映射是。
2025-07-27 23:57:49
442
原创 ansible批量部署FastGPT
后面在安装gpustack的时候出了问题，主要问题是默认安装的情况下，脚本安装的是gpustack[audio]版本。后来更换了镜像源还是失败了（daocloud、USTC镜像源），按道理不可能失败的，后来查看网络。选择使用 INSTALL_PACKAGE_SPEC=“gpustack”，将安装目标简化为基础的。，依赖关系很强，考虑到每个批量部署的环境不一样，根据GPUSTACK的官方文档。估计很有可能是DNS无法解析域名，后来更换了腾讯的公用DNS服务器。在更换后确定是DNS和镜像源的问题。
2025-07-27 23:52:14
397
原创 接上兼容 OpenAI 格式的请求，用于监控
接口尾缀主要用途模型类型当前状态聊天、问答、多轮对话对话模型✅ 主流标准将文本转换为向量 (用于搜索、推荐等)Embedding 模型✅标准。
2025-07-27 23:28:37
406
原创 模型API接口说明[兼容openai]
模型名称:模型存放目录:推理虚拟环境:推理引擎: vLLM 0.7.3API服务端口: 8000服务器IP:推理服务部署详情推理服务基于vLLM引擎启动，具体启动命令如下：参数说明–tensor-parallel-size 8: 使用8个GPU进行张量并行计算。–gpu-memory-utilization 0.98: GPU内存利用率设置为98%。–max-model-len 3072: 模型最大输入长度为3072个token。
2025-07-27 23:22:53
1068
原创 docker部署dify+ollama+vllm
在这里插入图片描述](https://i-blog.csdnimg.cn/direct/8ff5a757c0b14a0e8dd5cbc0d9c4a3d7.png#pic_center。因为dify是在容器中部署 而deepseek是在ollama客户端中部署 dify容器中的网络无法直接访问到ollama端口，要将ollama服务暴露在网络中才能在dify添加url.这里用的模型是Qwen2.5-14B-Instruct-GPTQ-Int4。检查docker版本和docker-compose版本。
2025-07-27 23:20:22
693
原创 大模型部署[Dify+Vllm]
进入版本的下载页面，选择对应的操作系统、架构、操作系统、版本，安装方式，就可以看到相应的安装命令。–max-num-batched-tokens 4096: 批处理最大token数为4096。–gpu-memory-utilization 0.98: GPU内存利用率设置为98%。–max-model-len 3072: 模型最大输入长度为3072个token。这里用的模型是Qwen2.5-14B-Instruct-GPTQ-Int4。–trust-remote-code 运行的时候信任该模型。
2025-07-26 21:29:58
1003
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人