SYC_MORE-优快云博客

原创 vLLM实战：多机多卡大模型分布式推理部署全流程指南

拓扑感知：通过nvidia-smi topo -m查看GPU连接方式，优先使用NVLink互联的GPU组。调整–tensor-parallel-size与–pipeline-parallel-size比例。连续批处理：vLLM默认启用，通过–max-num-seqs 256控制并发量。Ray日志：/tmp/ray/session_latest/logs/–object-store-memory：建议设置为可用内存的70%降低–gpu-memory-utilization至0.7-0.8。

2025-04-09 20:00:00 9149

原创 SGLang实战问题全解析：从分布式部署到性能调优的深度指南

SGLang的强大性能源自对系统各层级的深度优化，而充分理解其运行机制，才能在大模型落地的最后一公里中占据先机。记住：没有放之四海皆准的最优配置，只有与业务场景深度契合的调参哲学。

2025-04-08 10:52:01 3852

原创一文带你了解 YOLOv11：入门操作与配置详解

这篇文章为读者提供了关于YOLOv11模型的入门指南，详细介绍了YOLOv11的安装、训练、验证等基本操作，并通过对比不同版本的YOLO模型，帮助读者快速上手目标检测任务。文章还涵盖了YOLOv11的常用配置参数以及如何应用这些参数进行有效的模型训练。通过该指南，读者可以轻松完成YOLOv11模型的基础配置，并为深入应用该模型打下基础。大部分内容基于官方文档，确保操作的准确性和易用性。

2024-10-17 16:34:56 8577 2

原创无需 OCR，多模态大模型如何“读懂” PDF？——基于 GLM-4V-Flash 的智能文档解析原理剖析

摘要：传统OCR在解析复杂PDF（如扫描件、图文混排、手写批注）时面临识别率低、语义断裂等问题。本文提出基于多模态大模型（如GLM-4V-Flash）的零OCR方案，直接将PDF渲染为图像进行端到端语义理解。该方案具有三大优势：1）语义优先，理解意图而非字符；2）零外部依赖，纯Python实现；3）免费轻量，适合批量处理。技术原理包括视觉信息保留、跨模态语义对齐和提示工程激活。与传统OCR相比，该方案在版面理解、容错性和开发成本上表现更优，实现了从“文本提取”到“视觉理解”的范式升级。开源代码已发布。

2025-12-25 14:46:06 1169

原创不用训练、不用标注、不用 GPU——我用大模型做了一个万能“看图说话”工具

摘要： Deep Vision Agent 是一款基于多模态大模型 GLM-4V-Flash 的极简命令行工具，通过零样本学习实现通用图像语义理解。其核心优势包括：零成本使用：无需标注、训练或部署深度学习框架，仅需一行命令即可调用云端模型；多功能覆盖：支持图像分类、描述生成、目标计数等六大任务，通过预设提示模板自动优化输出；轻量高效：代码量不足300行，模块化设计便于扩展，依托免费开放的GLM-4V-Flash API实现低延迟推理。项目采用视觉-语言融合架构，通过跨模态注意力机制和提示工程激发模型

2025-12-25 14:30:05 876

原创 200 行核心代码搞定专业报告生成？揭秘超轻量 Deep Search Agent 架构与原理

摘要：Deep Search Agent是一款轻量级AI研究代理，无需依赖LangChain等重型框架，仅使用基础库即可运行。它集成免费大模型GLM-4V-Flash和Tavily搜索API，实现零成本研究流程。通过"生成-反思-修正"机制模拟人类专家研究过程，自动生成结构清晰、引用可靠的报告。系统采用插件化设计，支持灵活切换模型，展示了用简约架构实现专业研究能力的可能性，适用于个人、团队及企业场景。（149字）

2025-12-25 10:56:37 678

原创 vLLM实战：单机多卡大模型推理部署指南

vLLM的单机多卡部署流程可概括为：环境配置→模型下载→参数调优→服务验证。关键点包括：1.确保CUDA、PyTorch与vLLM版本兼容。2.根据GPU数量设置–tensor-parallel-size。3.通过–gpu-memory-utilization平衡显存与性能。

2025-04-09 20:00:00 5931

原创 TorchServe部署模型-index_to_name.json

在TorchServe部署模型时，若要将模型输出结果映射到指定标签（如分类任务的类别名称），需通过index_to_name.json文件定义索引与标签的映射关系，并在打包模型时将其作为额外文件包含。

2025-04-09 20:00:00 497

原创 SGLang实战：从Qwen2.5-32B参数调优到多节点性能突围

在大型语言模型的生产部署中，SGLang凭借其创新的RadixAttention技术，正在成为替代vLLM的新一代推理引擎。本文基于Qwen2.5-32B的实战经验，详细解析关键参数配置与性能调优技巧。

2025-04-08 11:10:02 1965

原创 SGLang实战：从KV缓存复用到底层优化，解锁大模型高效推理的全栈方案

在当今快速发展的人工智能领域，大型语言模型(LLM)的应用已从简单对话扩展到需要复杂逻辑控制、多轮交互和结构化输出的高级任务。面对这一趋势，如何高效地微调并部署这些大模型成为开发者面临的核心挑战。本文将深入探讨SGLang——这一专为大模型设计的高效推理引擎与结构化生成语言，揭示它如何通过软硬件协同设计理念，从后端运行时系统到前端编程语言进行全面优化，为开发者提供更快速、更可控的大模型微调与部署体验。

2025-04-08 10:28:28 1494

原创 vscode 配置 Copilot 提示GHE.com连接失败

点击菜单栏中的 “文件” -> “首选项” -> “设置”。在搜索设置栏中输入 “Copilot: Advanced”。点击搜索结果下方的 “在 settings.json 中编辑” 链接，这会打开 settings.json 文件。

2025-02-20 16:24:11 5271 21

原创 YOLOv11快速上手：如何在本地使用TorchServe部署目标检测模型

YOLOv11 是当前最新的目标检测模型，凭借其卓越的效率和准确性广泛应用于图像分割、姿态估计等任务。本文详细介绍了如何使用YOLOv11训练目标检测模型并在本地使用TorchServe部署。包括模型训练、模型导出为TorchScript、创建模型存档、启动TorchServe进行推理测试以及通过curl命令验证部署模型。适合对YOLO系列感兴趣的开发者快速入门。

2024-10-22 11:34:53 1758 2

原创 YOLOv11 快速上手：训练你的第一个目标检测模型

本文提供了一个关于如何使用YOLOv11进行目标检测模型训练的详细教程。首先介绍了环境准备和数据集的结构与配置，随后通过具体的命令指导你如何基于预训练模型进行训练，并解释了常用的训练参数及其优化技巧。文章还包含了如何验证模型性能、调试参数以及实验结果评估的方法，帮助你快速掌握YOLOv11的基本操作和模型训练流程。

2024-10-17 17:23:51 2088

原创 Error loading Python lib ‘/tmp/＜tmp_dir＞/libpython3.8.so.1.0‘

改为安装Miniforge3。

2024-03-07 11:34:25 1891

原创 OSError: [E050] Can‘t find model ‘en_core_web_sm‘.

这个错误信息表明在尝试使用spacy.load(‘en_core_web_sm’)加载SpaCy的英文模型en_core_web_sm时遇到了问题。错误原因是因为SpaCy无法找到名为en_core_web_sm的模型。这通常是因为该模型尚未被安装。

2024-02-28 14:58:30 841

原创 $‘\r‘: 未找到命令

这个错误是因为脚本文件包含了 Windows 风格的换行符（CR LF），而不是 UNIX/Linux 所期望的换行符（LF）。在 UNIX/Linux 系统中执行含有 Windows 换行符的脚本会导致未找到命令和语法错误的问题，因为 shell 无法正确解析文件。可以使用 dos2unix 工具来转换文件的换行符，从而解决这个问题。如果你的系统中还没有安装 dos2unix，你可以根据你的 Linux 发行版安装它。安装 dos2unix。

2024-02-27 18:42:20 1328

原创 ImportError: liblapack.so.3: cannot open shared object file: No such file or directory

遇到 ImportError: liblapack.so.3: cannot open shared object file: No such file or directory 错误表明系统中缺少 LAPACK（线性代数包）库，这是执行科学计算常需的一个库，特别是在使用像 NumPy 或 SciPy 这样的 Python 库进行矩阵运算时。

2024-02-27 18:27:40 1607

原创 ImportError: libblas.so.3: cannot open shared object file: No such file or directory

在Debian或Ubuntu系统上，你可以通过安装libblas-dev包来解决这个问题。

2024-02-27 18:24:17 1835

原创 centos7.6配置华为310NPU

显卡驱动对内核版本有要求，centos系统仅支持7.6和8.3。

2024-02-27 15:12:19 1181

原创 can‘t decompress data； zlib not available

安装依赖zlib、zlib-devel。

2024-02-27 14:39:15 1094

原创 libpython3.7m.so.1.0: cannot open shared object file: No such file or directory

该方法为临时方案，后续需要自己编译python生成libpython3.7m.so.1.0文件。将对应libpython3.7m.so.1.0放到项目文件下。

2024-02-27 11:47:17 1050

原创 ModuleNotFoundError: No module named ‘_ssl‘

【代码】ModuleNotFoundError: No module named ‘_ssl‘

2024-02-27 11:08:21 1759

原创 [ERROR]The list of missing tools: lspci,ifconfig

【代码】[ERROR]The list of missing tools: lspci,ifconfig。

2024-02-26 11:53:56 1152

原创 TorchServe部署问题-curl: (7) Failed connect to localhost:8080； Connection refused

创建镜像环境但是没有吧8080端口映射到本地主机，2.问题原因：Nginx未安装。3.问题原因：容器端口未映射。临时处理方案：在容器内使用。（1）查看防火墙状态。

2024-01-19 14:51:22 1419

原创 TorchServe部署模型-handler文件

目标检测类TorchServe打包mar文件所需的handler文件：目标检测类yolov5。

2024-01-19 14:30:40 852

原创 Ubuntu设置定时重启

定时重启

2023-08-14 13:36:37 2058

原创 No module ‘xformers‘. Proceeding without it.

通过python命令行安装确认运行时python版本，不确定的话进创建的虚拟环境中找到python文件运行下述命令 stable-diffusion-webui-master\虚拟环境名称\Scripts\python.exe）下载xformers-0.0.14.dev0-cp310-cp310-win_amd64.whl文件。

2022-12-02 18:06:26 36684 7