qq_42755230的博客

移动端使用ollama部署qwen2.5大模型

Ubuntu server不带中文支持包，这里教了在线和离线环境下安装中文支持的方法

auto-gptq安装方式以及可能遇到的问题和解决方法

pytorch版本为2.1.2，大模型一直强调是xformer不支持，于是降低pytorch版本（其本质也是降低xformer版本）。在网上搜了很多博客，也问了chatgpt，基本可以确定是显卡版本、CUDA版本、pytorch版本有地方不兼容。之前调用大模型一直用的vllm，网上搜了下，可以确定P40显卡缺少一些算子，不支持vllm调用大模型。：将qwen大模型部署到新的服务器上，之前服务器显卡是4090，新的服务器显卡是P40。cuda版本为11.8，也不是最新的，P40是支持的。

两张4090挖掘qwen模型极限部署情况

NCCL安装

搭建了一个使用大模型分析学术论文的框架，并可以交互问答。

对大模型输出output取output[0]的原因进行说明

GGUF文件说明

对大模型重复输出问题进行了简要介绍，分析了原因并给出了一些缓解方法。

使用LLaMA-Factory框架微调qwen大模型，介绍了LLaMA-Factory和微调流程

使用LoRA微调技术微调qwen大模型，优化大模型在逻辑推理上的回答效果。分析了其步骤，给出了其代码块。

分析了多轮对话的难点和现有的一些解决思路

大模型的massage如何工作的，尤其在多轮对话中，如何设计，这应该是正确使用大模型的必备知识！

大模型的常见参数介绍

大模型一般很大，在部署的时候寻求快速的下载方法很重要。这里介绍了多种大模型下载方法，欢迎交流！

初步将大模型与检索增强生成（RAG）技术结合起来，使用yuan和qwen两种大模型进行试验，对比添加RAG前后的结果

在本地部署大模型，并构建问答对话，实现大模型交互问答部署，本文以yuan和qwen为例。