<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[一休哥的专栏]]></title><description><![CDATA[关注前沿，努力积累]]></description><link>https://blog.youkuaiyun.com/eli00001</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; eli00001]]></copyright><item><title><![CDATA[VLLM在linux下部署]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/148145387</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/148145387</guid><author>eli00001</author><pubDate>Thu, 22 May 2025 18:18:22 +0800</pubDate><description><![CDATA[本文介绍了如何通过Docker部署和运行vLLM（vLLM-OpenAI）镜像，以及如何通过pip安装vLLM并启动服务。首先，从Docker Hub拉取vLLM镜像，并使用特定命令启动容器，确保容器可以访问主机的共享内存。接着，通过pip安装vLLM，并确保CUDA版本为12.4。最后，启动vLLM服务并调用接口进行模型推理，示例中使用了“RolmOCR”模型，并通过OpenAI客户端进行交互，展示了如何发送请求并获取模型生成的文本内容。]]></description><category></category></item><item><title><![CDATA[注意力机制概念]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/148087653</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/148087653</guid><author>eli00001</author><pubDate>Tue, 20 May 2025 15:42:49 +0800</pubDate><description><![CDATA[损失函数，衡量模型预测结果与真实标签之间差异，反向传播是基于链式法则的梯度计算算法，用于计算损失函数对网络中每个参数的偏导数，指导参数的优化更新，使损失函数逐步最小化。Attention机制的本质是对source中元素的valye进行加权求和，query和key用来计算对应value的权重系数。两个向量的方法越接近，余弦夹角趋向于0，点积越大，当两个向量垂直时，点积为0的，当两个项链方向相反时，点积为负数。文本输入-》词嵌入E；在语义空间中，两个词的向量约接近，这两个词就越相似。两个向量相乘，计算点积。]]></description><category></category></item><item><title><![CDATA[LLaMaFactory大模型微调lora_rank、lora_alpha参数]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/148081579</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/148081579</guid><author>eli00001</author><pubDate>Tue, 20 May 2025 10:08:41 +0800</pubDate><description><![CDATA[LoRA（Low-Rank Adaptation）是一种通过在原始模型上添加少量可训练参数来适应特定任务的技术，避免了重新训练整个大型模型，从而减少计算和存储需求。LoRA的核心在于低秩分解，将权重更新矩阵分解为两个低秩矩阵的乘积，其中lora_rank决定了低秩矩阵的秩，影响可训练参数的数量和模型表达能力。较低的lora_rank减少参数但可能限制任务适应。]]></description><category></category></item><item><title><![CDATA[ollama升级]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/147956941</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/147956941</guid><author>eli00001</author><pubDate>Wed, 14 May 2025 16:11:04 +0800</pubDate><description><![CDATA[文章介绍了在qwen3发布后，旧版ollama不再支持，需要升级的两种方法。第一种方法是通过下载新镜像并启动新容器，同时使用旧的模型文件进行映射。具体步骤包括停止并移除当前容器，然后使用docker run命令启动新容器，并指定GPU、数据卷和端口等参数。第二种方法是替换ollama的二进制文件，从新部署的容器中获取二进制文件，并拷贝到目标容器中，最后重启容器完成更新。这两种方法均能有效实现ollama的升级。]]></description><category></category></item><item><title><![CDATA[nvidia驱动更新-先卸载再安装-ubuntu]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/147916972</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/147916972</guid><author>eli00001</author><pubDate>Tue, 13 May 2025 10:01:55 +0800</pubDate><description><![CDATA[（2）完全卸载 NVIDIA 驱动：sudo apt remove  purge nvidia-*（1）查找已安装的 NVIDIA 驱动和相关包：dpkg -l | grep nvidia。（3）清理残留的配置文件：sudo apt  autoremove。（6）验证卸载：dpkg -l | grep nvidia。（4）更新系统：sudo apt-get update。显卡驱动升级前，卸载旧版本，可采用两种方式。（5）重启系统：sudo reboo。2.直接使用驱动run文件。]]></description><category></category></item><item><title><![CDATA[conda create之后，以前的conda env list 只能看到环境路径 没有环境名称了]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/146426141</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/146426141</guid><author>eli00001</author><pubDate>Fri, 21 Mar 2025 17:49:02 +0800</pubDate><description><![CDATA[可以看见conda环境的名字都回来了，可以使用"conda activate <env_name>"跳转到anaconda的环境。左边这列的"base"，指向的路径和其它环境变量安装的路径不一致。1.命令  conda env list。]]></description><category></category></item><item><title><![CDATA[流式语音识别概述-paddlespeech]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/146339680</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/146339680</guid><author>eli00001</author><pubDate>Tue, 18 Mar 2025 14:00:20 +0800</pubDate><description><![CDATA[而 websocket 支持双工，适用于需要长连接的场景，也可应用于目前的流式 TTS 的方案，可以在一次连接中请求多次，相比 http 请求多次而言，可减少建立连接的次数。除此之外，流式 ASR 使用的是 websocket 协议，使用 webscoket 协议启动服务，可以同时启动包含流式 ASR 和流式 TTS 的服务。http 支持流式返回，可以满足目前的流式 TTS 的方案，即请求一次，返回流式数据，响应返回结束会自动断开连接。访问流式 TTS 服务流程图（左：访问 http 服务；]]></description><category></category></item><item><title><![CDATA[图像处理常用基础操作]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/145976777</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/145976777</guid><author>eli00001</author><pubDate>Mon, 03 Mar 2025 10:09:52 +0800</pubDate><description><![CDATA[Image.LANCZOS 是 Pillow 中的一种重采样滤波器，用于图像缩放。LANCZOS 滤波器是一种高质量的重采样技术，适合用于图像缩放，尤其是在将图像放大时。#Image.open是pillow中的一个函数，打开和识别字节流对象，将字节流转换为PIL Image对象。#将二进制数据转为字节流，BytesIO是io中的嘞，用于在内存中处理字节流。#不同库对颜色通道的排序不同，PIL默认使用RGB， openv使用BGR。#size[0]：图像宽度，size[1]图像高度。]]></description><category></category></item><item><title><![CDATA[ollama的问答服务接口]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/145756123</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/145756123</guid><author>eli00001</author><pubDate>Thu, 20 Feb 2025 16:00:05 +0800</pubDate><description><![CDATA[它的请求和响应格式与 OpenAI 的接口不同，更贴近 Ollama 的本地模型调用方式。它的设计目的是为了让开发者能够以 OpenAI 的 API 格式与 Ollama 的模型进行交互。：相比 OpenAI 的格式，Ollama 的原生接口更简洁，适合直接与 Ollama 服务交互。：请求体和响应体的结构是 Ollama 自定义的，与 OpenAI 的格式不兼容。：由于 OpenAI 兼容接口需要额外处理格式转换，可能会有轻微的性能开销。，它的设计更简洁且更适合本地部署的场景。字段传递多轮对话历史。]]></description><category></category></item><item><title><![CDATA[本地部署deepseek]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/145457904</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/145457904</guid><author>eli00001</author><pubDate>Wed, 05 Feb 2025 16:59:46 +0800</pubDate><description><![CDATA[在前面的文章中，详细介绍了ollama的部署过程。可点击下面链接查看。]]></description><category></category></item><item><title><![CDATA[蒸馏技术简介]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/145451845</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/145451845</guid><author>eli00001</author><pubDate>Wed, 05 Feb 2025 11:16:53 +0800</pubDate><description><![CDATA[蒸馏技术是将教师模型（复杂模型）的知识迁移到学生模型（小型高效）模型的技术，目的是在保留模型性能的同事，降低模型的计算复杂度和存储需求。蒸馏技术的通过模仿教师模型的输出，训练较小的学生模型，实现知识传递。监视模型计算成本高但性能好，学生模型更轻量，速度快，占用内存少。教师模型利用复杂的网络结构和参数学习数据的复杂模式和特征，学生模型模仿教师模式模型的输出，学习数据特征。]]></description><category></category></item><item><title><![CDATA[ollama部署]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/145340180</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/145340180</guid><author>eli00001</author><pubDate>Fri, 24 Jan 2025 13:46:14 +0800</pubDate><description><![CDATA[访问，下载对应系统 Ollama 客户端。对于linux系统，]]></description><category></category></item><item><title><![CDATA[dify中调用已有的api接口]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/144908506</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/144908506</guid><author>eli00001</author><pubDate>Fri, 03 Jan 2025 13:45:50 +0800</pubDate><description><![CDATA[在dify编排中，可以构建自己的工具。工具可以调用已有的rest接口。定义schema文件，接入已有的rest接口。在参数中，定义参数类型，也可以设置参数默认值。]]></description><category></category></item><item><title><![CDATA[dify环境部署]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/144908430</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/144908430</guid><author>eli00001</author><pubDate>Fri, 03 Jan 2025 13:40:39 +0800</pubDate><description><![CDATA[看到上述信息标识容器正常启动，在浏览器输入http:ip:port可以使用dify服务。执行up -d之后，在线下载镜像和启动容器。dify容器化部署参考官方文档，比较便捷。]]></description><category></category></item><item><title><![CDATA[python解析docx文档-Document]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/144240855</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/144240855</guid><author>eli00001</author><pubDate>Wed, 04 Dec 2024 15:04:59 +0800</pubDate><description><![CDATA[使用python的docx包，解析docx文档。]]></description><category></category></item><item><title><![CDATA[xinference linux系统下部署]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/142366256</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/142366256</guid><author>eli00001</author><pubDate>Thu, 19 Sep 2024 17:51:13 +0800</pubDate><description><![CDATA[Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。]]></description><category></category></item><item><title><![CDATA[计算机专业之我见]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/139642936</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/139642936</guid><author>eli00001</author><pubDate>Thu, 13 Jun 2024 09:38:27 +0800</pubDate><description><![CDATA[计算机算法为解决问题提供了系统的步骤和方法。无论是开发软件应用、优化搜索引擎、处理大数据，还是进行人工智能的训练，算法都起着至关重要的作用。：表示算法执行所需的时间，通常用“大O”符号表示，如O(n)、O(log n)、O(n^2)等。算法分析主要关注算法的效率和资源使用，通常通过时间复杂度和空间复杂度来衡量。算法是解决问题的一系列明确指令或步骤。计算机专业的应用领域非常广泛，几乎涵盖了所有行业。：表示算法执行所需的内存空间，同样用“大O”符号表示。方向二：专业与个人的匹配度判断。方向三：专业前景分析。]]></description><category></category></item><item><title><![CDATA[pytorch中的zero_grad（）函数的含义和使用]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/139521487</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/139521487</guid><author>eli00001</author><pubDate>Fri, 07 Jun 2024 11:00:00 +0800</pubDate><description><![CDATA[在反向传播计算时，梯度的计算是累加，但是每个batch处理时不需要和其它batch混合起来累加计算，所以对每个batch调用zero_grad将参数梯度置0。#如果不是每个batch清理依次梯度，而是两次或者多次清理，相当于提高了batch批次大小。optimizer.step()#更新参数，梯度被反向计算之后，调用函数进行所有参数更新。optimizer.zero_grad() ，用于将模型的参数梯度初始化为0。optimizer.zero_grad()#将模型参数梯度置为0；]]></description><category></category></item><item><title><![CDATA[Excel表格转markdown格式]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/139444166</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/139444166</guid><author>eli00001</author><pubDate>Tue, 04 Jun 2024 15:25:24 +0800</pubDate><description><![CDATA[markdown格式的数据可以存入大模型的知识库中，使用大模型进行excel表格内容的检索温度。3.查找标题部分，有些标题包含合并单元格，将其进行拆解；拆解后转为markdown格式；4.处理body部分，从标题往下，转markdown结构。2.有些表格开头是表格内容描述，将其查找出来；1.通过pandas读取excel文件；]]></description><category></category></item><item><title><![CDATA[Linux 使用crontab定时执行shell 脚本]]></title><link>https://blog.youkuaiyun.com/eli00001/article/details/138787857</link><guid>https://blog.youkuaiyun.com/eli00001/article/details/138787857</guid><author>eli00001</author><pubDate>Mon, 13 May 2024 09:47:43 +0800</pubDate><description><![CDATA[1.编写脚本，并设置脚本为可执行权限chmod a+x 脚本名称。2.设置crontab定时任务，执行。]]></description><category></category></item></channel></rss>