<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zadyd的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zadyd</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zadyd]]></copyright><item><title><![CDATA[vLLM Linux 双卡部署大模型服务器指南]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/160902571</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/160902571</guid><author>zadyd</author><pubDate>Fri, 08 May 2026 21:45:16 +0800</pubDate><description><![CDATA[确保请求头包含正确的 API Key。: 流式响应间隔过长，客户端超时断开。: 生产环境建议配置 SSL/TLS。: 模型说话说到一半就没响应了。: 使用强密钥，定期更换。]]></description><category></category></item><item><title><![CDATA[QWEN 2.5VL TECHNICAL REPORT 中的二级事件定位]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155107730</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155107730</guid><author>zadyd</author><pubDate>Fri, 20 Mar 2026 17:12:21 +0800</pubDate><description><![CDATA[二级事件定位是一种。]]></description><category></category></item><item><title><![CDATA[Langgraph 项目代码编写步骤（Router 结构）]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/158921752</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/158921752</guid><author>zadyd</author><pubDate>Fri, 20 Mar 2026 17:05:40 +0800</pubDate><description><![CDATA[State 是契约：所有节点（包括路由和功能节点）都需要读写 State。不先定义 State，就不知道节点函数的入参和返回值是什么。Nodes 是目的地：路由器的作用是将流量分发给具体的功能节点。如果你还没写好功能节点，路由器就没有“目的地”可指。Router 是决策者：它依赖于 State 中的历史信息，并决定流向哪些 Nodes。这是整个图的“内存”结构。对于路由架构，通常需要由系统默认的messages和可能的next_node（可选，取决于路由实现方式）组成。# 1. 定义状态。]]></description><category></category></item><item><title><![CDATA[一个基本的意图识别该包含哪些内容]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/159055174</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/159055174</guid><author>zadyd</author><pubDate>Fri, 20 Mar 2026 17:03:37 +0800</pubDate><description><![CDATA[设计智能体（Agent）的意图识别（Intent Recognition）系统，是构建整个Agent大脑的核心环节。优秀的意图识别不仅需要准确理解用户的字面意思，还要结合上下文、用户画像以及业务场景。在目前大模型（LLM）时代，意图识别的设计范式已经从传统的“纯分类模型（如BERT+规则）”演进到了“”的混合架构。]]></description><category></category></item><item><title><![CDATA[为什么GRPO更适合强逻辑内容的强化学习]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155951316</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155951316</guid><author>zadyd</author><pubDate>Sat, 14 Mar 2026 23:28:10 +0800</pubDate><description><![CDATA[PPO 是强化学习领域的“瑞士军刀”。它不是最快（样本效率）的，也不是理论最完美的，但它实现了工程上的完美平衡——既足够简单，又足够强大且稳定。这就是为什么它成为 OpenAI 以及众多 AI 实验室的首选算法。这是一个非常棒的问题。PPO、DPO 和 GRPO代表了当前大语言模型（LLM）“对齐（Alignment）”技术发展的三大里程碑。我们可以把它们看作是为了解决同一个问题（让模型符合人类喜好/逻辑），在不同资源约束和数学推导下产生的不同进化路径。经典的、标准的、但沉重的“在线”老师。]]></description><category></category></item><item><title><![CDATA[Langgraph开发：先有Graph还是先有State]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/158921621</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/158921621</guid><author>zadyd</author><pubDate>Sat, 14 Mar 2026 23:27:48 +0800</pubDate><description><![CDATA[节点之间如何传递信息？Agent 需要记住什么？LangGraph 的State是所有节点共享的上下文（Context）。这是它与普通 Chain 的最大区别。必须在写 Node 代码前定义好 State，因为 Node 的输入输出都依赖它。构思要点：是否需要标准的messages列表（User/AI/Tool Message）？是否需要存储检索到的文档 (documents)、生成的草稿 (draft)、当前的步骤计数 (steps当一个 Node 返回数据时，是覆盖旧数据，还是追加数据？]]></description><category></category></item><item><title><![CDATA[无脑选AdamW?非也非也]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/158889453</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/158889453</guid><author>zadyd</author><pubDate>Wed, 11 Mar 2026 11:15:17 +0800</pubDate><description><![CDATA[场景推荐优化器理由大语言模型 (LLM)、Transformer (BERT/GPT)AdamW这是目前的工业界标准。必须配合 Warmup 和 Cosine Decay 使用。计算机视觉 (ResNet/VGG)/ AdamW很多 CV 论文仍偏爱 SGD，认为其泛化极值点更好；但在 ViT (Vision Transformer) 中，AdamW 是主流。稀疏数据 / 简单的 NLPAdam/ LazyAdam传统任务 Adam 依然够用且方便。显存极度受限Adafactor。]]></description><category></category></item><item><title><![CDATA[交叉熵与KL散度的巨大差异]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/158889416</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/158889416</guid><author>zadyd</author><pubDate>Tue, 10 Mar 2026 17:37:57 +0800</pubDate><description><![CDATA[DKLP∣∣Q≠DKLQ∣∣PDKL​P∣∣QDKL​Q∣∣P以及HPQ≠HQPHPQHQP我们可以从数学推导和直观物理意义两个层面来解释。公式HPQ−∑Pxlog⁡QxHPQ−∑PxlogQxDKLP∣∣Q∑Pxlog⁡PxQxDKL​P∣∣Q∑PxlogQxPx​HPQHPDKLP∣。]]></description><category></category></item><item><title><![CDATA[Workflow or ReAct ？]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/158381245</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/158381245</guid><author>zadyd</author><pubDate>Tue, 10 Mar 2026 17:31:40 +0800</pubDate><description><![CDATA[最近在使用Langgraph编写一个Agent，其中涉及了大量的标准化内容和规则条件。一开始想使用workflow来标准化操作流程，保证整个系统的稳定性，却发现单一workflow难以应对用户的各种需求。于是需要增加agent自由度，采用react架构将系统的自由度放权给语言模型，但是这也会导致各类规则全部写进prompt，模型的注意力不集中，处理准确率下降。于是产生一些思考，分析一下面对各种情况时，workflow和react的权衡和特点。简单一句话来说Workflow 是将人类的经验代码化，并利用。]]></description><category></category></item><item><title><![CDATA[读QWEN3 TECHNICAL REPORT]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155647572</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155647572</guid><author>zadyd</author><pubDate>Sun, 14 Dec 2025 17:37:42 +0800</pubDate><description><![CDATA[特性Off-policy (异策略) 蒸馏On-policy (同策略) 蒸馏数据来源老师提前生成好的静态数据集学生自己实时生成的数据学习目标模仿老师的最终输出(SFT)模仿老师在每一步的决策(最小化KL散度)学习内容知识、格式、答案模板 (What)思考过程、决策逻辑、探索策略 (How)驾驶比喻看教学录像教练坐副驾实时指导在Qwen3中的作用第一阶段：快速打下基础，让学生“形似”第二阶段：精细雕琢，让学生“神似”为什么这个组合策略如此高效？报告中提到，这套蒸馏流程比纯粹的强化学习（RL）]]></description><category></category></item><item><title><![CDATA[为什么cls在经过encoder之后，它的向量会被认为包含了整句话的信息？]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155618240</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155618240</guid><author>zadyd</author><pubDate>Sat, 13 Dec 2025 20:28:26 +0800</pubDate><description><![CDATA[赋予了它看见全局的能力。NSP 任务强迫它必须学会概括全局信息以便做分类。它本身没有词义干扰，专职做“总结者”。]]></description><category></category></item><item><title><![CDATA[QWEN3-VL架构分析]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155647631</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155647631</guid><author>zadyd</author><pubDate>Sat, 06 Dec 2025 21:58:44 +0800</pubDate><description><![CDATA[视觉输入形状:视觉编码 (Vision Encoder)经过Conv3d Patch Embed→\to→经过27层Transformer处理，特征维度保持1152。视觉-语言对齐 (Merger): 将相邻的2×22\times22×2个Patch拼接→\to→维度变成。同时Patch数量减少为原来的141/41/4。Projection: 线性层将4608映射为4096。输出视觉Token形状:。文本输入Tokenize→\to→Embedding→\to→。]]></description><category></category></item><item><title><![CDATA[基于PEFT实现小样本量医疗多模态训练（全流程）]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155196986</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155196986</guid><author>zadyd</author><pubDate>Mon, 01 Dec 2025 17:00:38 +0800</pubDate><description><![CDATA[这是一个验证性项目，主要用于减少大模型幻觉，和减少微调数据量而研发的。目前测试下来能够实现预期功能。如果有对项目的更好建议，欢迎大家一起讨论。所有代码均已上传github，与本人csdn同名。]]></description><category></category></item><item><title><![CDATA[读Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics的总结]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155355360</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155355360</guid><author>zadyd</author><pubDate>Fri, 28 Nov 2025 17:09:39 +0800</pubDate><description><![CDATA[本篇论文主要解决，在多任务训练中，如何动态平衡各项Loss在多任务学习（Multi-Task Learning, MTL）中，最终的 Loss 通常是各个子任务 Loss 的加权和：如果手动设置w1，w2这些参数会有以下问题1.量级不同：不同部分的loss并没有一个标准的基线2.每个任务难度不同：有的任务可能简单，loss会下降很快，使用固定loss无法平衡整个训练过程。]]></description><category></category></item><item><title><![CDATA[LLM项目实战：使用Llama-factory进行DPO训练]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155033425</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155033425</guid><author>zadyd</author><pubDate>Thu, 27 Nov 2025 14:49:05 +0800</pubDate><description><![CDATA[LLM训练三板斧，预训练，微调，RHLF。DPO属于是最后环节RHLF中的一个方法，关于RLHF主流方法有PPO,DPO,GROP。关于这三种介绍RLHF方法，我之前分享过对着三种方法的一些思考，有兴趣的同学可以看看。因为DPO对硬件的需求最小，显存占用最低，所以我们先采用DPO进行训练。硬件信息：4070 12g*2 、64g内存、操作系统:Ubuntu24.04、模型：QWEN-3vl-2B（因为我这个模型是上个多模态任务sft过的，所以选择vl模型，没有图片输入需求的同学可以下载纯语言模型）]]></description><category></category></item><item><title><![CDATA[小样本量LORA微调经验]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155310300</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155310300</guid><author>zadyd</author><pubDate>Thu, 27 Nov 2025 12:21:28 +0800</pubDate><description><![CDATA[因为样本量不大，所含的信息也不多，所以lora秩的选择我倾向于8-12，我尝试过16和32，能够有非常小的提升，但是和训练速度比起来，基本上可以忽略不计。我的训练是一张图像配一个100字的描述，所以lora的秩为12是绰绰有余的。如果我们的下游任务差异不是很大，都是同方向的任务，其实只在QKV层上添加LORA模块就可以，这样反而能获得更好的泛化性，同时节约参数量和训练时间。现在基本默认的学习率是1e-5，本人在训练时设置1e-4，基本上loss都可以稳定，如果不稳定可以先热身几百步，让lora层熟悉一下。]]></description><category></category></item><item><title><![CDATA[理解Flash Attention（少量公式）]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155163307</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155163307</guid><author>zadyd</author><pubDate>Sun, 23 Nov 2025 17:59:13 +0800</pubDate><description><![CDATA[在前向传播时，我们会保存最大值m和l，反向传播的时候就可以快速计算激活值，可以看成另外一种形式的梯度检查点。Flash Attention 为什么那么快？原理讲解_哔哩哔哩_bilibili。]]></description><category></category></item><item><title><![CDATA[使用本地LLM模型对文本进行结构化提取(基于ollama)]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/155113050</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/155113050</guid><author>zadyd</author><pubDate>Sat, 22 Nov 2025 00:32:39 +0800</pubDate><description><![CDATA[这篇文章能帮助你快速结构化数据，但是有一点不足是，我不太熟悉ollama的操作，所以没有在程序中实现并行操作（双显卡机器只有一张在跑，并且只能一段一段执行操作），导致无法充分利用硬件资源，希望有大佬可以实现分布式操作或者提高运行效率。]]></description><category></category></item><item><title><![CDATA[transformer如何推理得出第一个token]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/154994388</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/154994388</guid><author>zadyd</author><pubDate>Tue, 18 Nov 2025 17:02:14 +0800</pubDate><description><![CDATA[之前看transformer一直不理解第一个字符是如何输出的，从原论文给出的图像上可以看到，从encoder输出的矩阵直接进入了mha计算，那么mha需要qkv三个字符进行计算，这里只有两个，怎么才能进行第一个token的推理呢？简单来说，在进行推理时，decoder会在输入端生成一<sos>字符，告诉decoder“我要开始推理啦”，然后这个<sos>也会作为query矩阵，参与到第一个token的生成中。之后的自回归输出在网上就能找到大把的视频讲解了。]]></description><category></category></item><item><title><![CDATA[VIT网络入门：读Transformers for Image Recognition at Scale论文]]></title><link>https://blog.youkuaiyun.com/zadyd/article/details/153831626</link><guid>https://blog.youkuaiyun.com/zadyd/article/details/153831626</guid><author>zadyd</author><pubDate>Tue, 18 Nov 2025 15:24:44 +0800</pubDate><description><![CDATA[Vision Transformer（VIT）是一种基于Transformer架构的图像识别方法，由2020年CVPR论文首次提出。其核心思想是将图像分割为16x16的patch（如224x224图像被分为196个768维patch），通过类似NLP的token处理方式输入Transformer模型。模型包含三部分：1）Embedding层通过卷积操作将图像转为序列数据，添加分类token和位置编码；2）Encoder层进行归一化、多头注意力等操作；3）Hybrid模型可先进行传统CNN特征提取。该方法突破]]></description><category></category></item></channel></rss>