hknaruto的专栏

先更新安装modescope，然后下载模型下载日志。

MindIE Server 和 vLLM 都是面向大语言模型（LLM）推理部署的高性能工具，但它们的定位、技术路线和适用场景存在显著差异。使用昇腾 AI 编译器（CANN）生成高度定制化的计算图，实现算子融合和内存零拷贝。支持模型切分部署到边缘设备（如 Atlas 500），适应低带宽环境。自动合并不同长度的请求，提升 GPU 利用率（典型提升 30%+）。内置模型加密和可信执行环境（TEE）支持，满足企业级安全需求。：正在扩展对 NPU 的支持（试验性支持昇腾/寒武纪）部署华为系大模型（如 PanGu）

在 ModelScope 平台上，「模型」和「权重」的定义与工程实践紧密结合，理解它们的区别需要从实际的文件结构和加载逻辑入手。以下是一个典型 ModelScope 模型仓库的组成及其概念解析：以 deepseek-ai/deepseek-llm-7b-base 为例，模型仓库通常包含以下文件：bash复制下载Deepseek-R1-bf16-hfd-w8a8/├── config.json # 模型结构定义与超参数├── configuration_deepseek.p

【代码】【AI】Ubuntu 22.04 evalscope 模型评测 Qwen3-4B-FP8。

【代码】【AI】Ubuntu 22.04 4060Ti 16G vllm-api部署Qwen3-8B-FP8。

0,1 # 内部序号还是0,1 不是外部的8,9。2. device_ids参数是字符串数组，不是整形数组。观察GPU内存，可以确认容器内部是使用末尾的两块GPU。配置docker-compose.yml。1. 内部环境变量仍然是0,1。

更新系统模型设置，可以看到添加的本地模型了。

【代码】【AI】python程序调用DeepSeek R1 open ai 接口，实现上下文记忆，保留本次会话历史信息。

设置模型支持的最大上下文长度为81,920 tokens。：预留4GB的CPU内存/磁盘空间作为GPU内存交换区。：缓解GPU内存不足问题（单位可能是GB，需确认文档）。：API请求时可通过此名称指定模型（多模型部署时重要）。：指定容器内模型文件的路径（对应挂载的宿主机目录）。：支持超大模型推理（如32B参数模型需多卡并行）。：节省GPU内存，同时保持数值稳定性（适合推理）。：设置张量并行度为8，将模型拆分到8块GPU上。：处理超长文本输入（需模型本身支持）。：定义服务中模型的名称。

文件连接。

Mermaid原始数据。

（fds）</div><div>犯得上发射点

【代码】【AI】ubuntu 22.04 docker部署Dify。

GPU。

打开网址为方便离线安装，先下载过来离线安装。

下载选择麒麟V10的runfile安装依赖关闭selinux执行默认安装故障处理。

前提：ragflow、ollama以及模型deepseek-r1已经本地部署完毕。

其中80端口为web服务端口，访问效果。ragflow接近3GB。

检查LLM首选项，此时模型选中来提前下载好的deepseek-r1:14b。搜狗输入法不能输入中文（暂时不处理），从gedit复制过来。Get started以后，选择ollama。点击-> 箭头（后续持续点击→箭头）右键start，作为程序运行。搜索anythingllm。

ollama本地部署的，采用内网地址通知到open-webui。

MiniDump是Windows平台提供的一种轻量级崩溃信息捕获技术，能够记录应用程序崩溃时的线程、调用栈、寄存器状态等信息。通过本方案，研发和维护团队可以高效地捕获、分析和解决用户环境中的崩溃问题。结合符号服务器和自动化工具，能够显著提高故障分析的效率和准确性，确保软件的稳定性和用户体验。

核心转储是Linux平台提供的一种崩溃信息捕获技术，能够记录应用程序崩溃时的内存状态、寄存器状态、调用栈等信息。通过本方案，研发和维护团队可以高效地捕获、分析和解决用户环境中的崩溃问题。结合调试符号和自动化工具，能够显著提高故障分析的效率和准确性，确保软件的稳定性和用户体验。

Nebula: 用于构建虚拟局域网，支持 NAT 穿透和 P2P 通信。游戏大厅: 用于管理玩家关系、房间创建与加入。局域网广播: 在虚拟局域网内实现游戏服务器的自动发现。

下载模型中途下载报错，手动下载几个没有正常拉下来的模型文件移动过来。

接上篇下载Qwen-VL-Chat-Int4版本模型这个版本模型体积小不少2060 6G 仍然不能启动web尝试参考模型中的README.md编写使用量化的代码test.py启动报错这个脚本的依赖与requirements.txt有一定差异参考文档手动安装故障依旧AI分析然而，根据之前的错误信息，对象似乎缺乏方法，导致在尝试从预训练模型加载时抛出了异常。这可能意味着在您当前安装的版本中，对于如何与配合进行模型量化加载有所变更，或者。

迁移到4060ti 16G 环境下，仍然报错，显存不足！

接收对象中: 100% (584/584), 26.69 MiB | 1.50 MiB/s, 完成.接收对象中: 100% (205/205), 15.59 MiB | 1.57 MiB/s, 完成.git拉取modescope.cn的镜像大小不正确，使用git lfs pull拉取大文件。处理 delta 中: 100% (334/334), 完成.正克隆到 'Qwen-VL-Chat'...在Qwen-VL-Chat目录下执行。正克隆到 'Qwen-VL'...检查python3版本。

解决:使用gcc-12。

报错：gcc: 错误：unrecognized command-line option ‘-Wunreachable-code-break’;make: *** [Makefile:693：benchmark-matmult] 错误 1。make: *** [Makefile:704：q8dot] 错误 1。make: *** [Makefile:626：gguf] 错误 1。make: *** [Makefile:701：vdot] 错误 1。神奇，用的clang，报gcc错误。

操作系统CPU内存。

报错ggml-quants.c:436:27: 错误：implicit declaration of function ‘vld1q_s16_x2’;

下载模型到/home/yeqiang/Downloads/ai/chinese-alpaca-2-7b目录。

py-spy是一个第三方命令行工具，它允许你在不修改代码的情况下分析Python程序的运行时行为，包括查看CPU使用、线程堆栈以及生成火焰图（Flame Graphs）, 热力图可以通过其他工具基于其生成的数据来绘制。： Pyroscope是一个开源的持续性能分析工具，支持Python应用，它可以提供动态火焰图并且能实时监控CPU占用。针对分析python进程cpu消耗，有没有类似java中的arthas工具，可以查看到进程内的各线程CPU使用率，生成热力图，看到具体是哪个函数占用cpu？

多卡运行分布式训练卡死 - 知乎

python进程cpu使用率100.3%持续了很长时间，没有启用多线程？创建虚拟环境安装依赖。

ffmpeg编译安装6.0.1，参考。

1. 升级ffmpeg 到 6.0.12. 设置比特率1M3. 对于小的gif，放大目标尺寸到宽度640。

Also please ensure that your antivirus or firewall is not blocking the binary file located at: /home/yeqiang/下载/ai/M4Singer/code/venv3712/lib/python3.7/site-packages/gradio/frpc_linux_amd64_v0.2。"AP你要相信AP相信我们会像童话故事里AP",启动一段时间后，有警告信息。

test_input_dir: , test_num: 0, test_prefixes: ['Alto-2#岁月神偷', 'Alto-2#奇妙能力歌', 'Tenor-1#一千年以后', 'Tenor-1#童话', 'Tenor-2#消愁', 'Tenor-2#一荤一素', 'Soprano-1#念奴娇赤壁怀古', 'Soprano-1#问春'], test_set_name: test, timesteps: 1000,CPU 运行模式： 32-bit, 64-bit。

You should consider upgrading via the '/home/yeqiang/下载/ai/M4Singer/code/venv3712/bin/python3 -m pip install --upgrade pip' command.