IMdandelion-优快云博客

原创 ubuntu系统下的大模型环境搭建

conda create -n env_name python=X.XXconda create -n myPytorch python=3.12 进入torch官网：点击进入torch官网安装vllm:GPU - vLLM 首先安装uv：pip install uv 然后安装vllm：uv pip install vllm --torch-backend=auto

2025-07-29 10:07:22 262

大模型多LoRA部署是一种高效利用单一基座模型同时服务多个下游任务的推理方案，通过加载不同的低秩适配器（LoRA）实现任务定制化，显著节省显存与计算资源。本文使用LoRA对Qwen3-1.7B进行指令微调，选择不同检查点得到的适配器进行测试。NOTE：原本的vllm版本为0.9.2，enable_lora=True时，模型初始化一直报错，应该是vLLM版本和LoRA兼容性的问题，后将vllm升级到0.10.0，解决了这个问题。

2025-07-28 23:05:34 595

原创 vLLM Qwen3-4B-AWQ模型部署及问题记录

原因是gpu_memory_utilization的默认值为0.9，在GPU较小的情况下，分配给kv缓存的空间太大，导致out of memory的问题，因此需要根据自己的情况进行gpu_memory_utilization的调整，我的GPU大小为16G，该参数调整为0.6～0.85之间均可正常启动。参考上面的VLLM官方文档，官方推荐uv安装，但是为了偷懒，没有安装uv，直接选择了pip方式进行了安装，我的cuda版本为12.8，根据自己的cuda版本查看官方文档进行相应调整。

2025-07-23 12:16:45 654

原创 Qwen3-AWQ模型离线推理

gpu_memory_utilization设置越大，可占用显存越大，就有更多显存可用于 KV 缓存，推理速度也会越快。在显存足够的情况下，gpu_memory_utilization可以设置为0.95。但是，如果禁用了思考，这个块中的内容可能是空的。起到了作用，在思考模式和非思考模式之间进行了切换。标签，模型都不会生成思考内容，也不会包含。

2025-07-23 09:54:37 773

原创 windows + ubuntu双系统安装（win10 + Ubuntu 24.04.2 LTS）

继续下一步（后续步骤省略），选择U盘完成启动盘的制作。

2025-07-18 23:12:57 131

原创 pytorch中CrossEntropyLoss的使用

CrossEntropyLoss 等价于softmax+log+NLLLossLogSoftmax等价于softmax+log可用于文本分类、序列标注等计算损失使用方法：# 首先定义该类loss = torch.nn.CrossEntropyLoss()#然后传参进去loss(input, target)input维度为N*C，是网络生成的值，N为batch_size，C为类别数；target维度为N，是标注值，非one-hot类型的值；input = torc..

2020-05-26 14:46:23 9649 1

原创 hive笛卡尔积+排序

原始需求解决方案：笛卡尔积 + 排序1）hive本身不支持笛卡尔积，不能使用select T1.*, T2.* from table_1, table_2，可以使用 select T1.*, T2.* from T1 join T2 on 1=1；在Hive的strict模式下不能用这种语法，需要先用set hive.mapred.mode=nonstrict，设置为非strict模式才可...

2020-04-17 13:04:51 1191

原创 python3.6在linux系统和windows系统下的不同

1. input 和raw_input windows下python3中input和raw_input已经合并，只保留了一个input，输入为str类型：linux下python3中input和raw_input都存在，input默认为数值型输入，也可以接受字符型输入，输入字符必须加引号，数值型则不用，raw_input只接受字符输入，不要加引号：...

2018-12-13 17:53:31 2129

原创 Mixing iteration and read methods would lose data

linux环境下，下图1的操作报错，改成图2的形式即可，在windows下不会报错，运行良好，原因有待探究！ValueError: Mixing iteration and read methods would lose datalines = fr.readline()for line in lines[1:]对于很大的文档，读取的时候逐行读取，提取想要的部分，防止太大内存不...

2018-12-11 11:07:54 465 1

原创 Anaconda的安装方法Python3.5

Anaconda官网：https://www.anaconda.com/download/#windowsAnaconda的安装方法：http://docs.anaconda.com/anaconda/install/windows/问题集锦：http://docs.anaconda.com/anaconda/faq/#how-do-i-get-the-latest-anaco...

2018-09-22 08:35:11 13018