<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[DELEnomore的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/DELEnomore</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; DELEnomore]]></copyright><item><title><![CDATA[小模型推理能力增强实验]]></title><link>https://blog.youkuaiyun.com/DELEnomore/article/details/152803105</link><guid>https://blog.youkuaiyun.com/DELEnomore/article/details/152803105</guid><author>DELEnomore</author><pubDate>Thu, 09 Oct 2025 16:08:01 +0800</pubDate><description><![CDATA[通常对于RL来说，冷启动是必要的，我从PrimeIntellect/NuminaMath-QwQ-CoT-5M数据集中过滤出了答案正确并且CoT长度小于2000的数据用来微调，在AIME2025和MATH-500数据集上验证结果。本文采用PrimeIntellect/NuminaMath-QwQ-CoT-5M数据集，该数据集是在NuminaMath数据集的基础上，使用Qwen/QwQ-32B模型生成了CoT数据。受DeepSeek-R1的启发，本文试图通过RL增强小模型的推理能力，验证小模型推理的潜力。]]></description><category></category></item><item><title><![CDATA[【踩坑】HuggingFace数据集map入参函数修改不生效]]></title><link>https://blog.youkuaiyun.com/DELEnomore/article/details/151217131</link><guid>https://blog.youkuaiyun.com/DELEnomore/article/details/151217131</guid><author>DELEnomore</author><pubDate>Fri, 05 Sep 2025 11:00:29 +0800</pubDate><description><![CDATA[原来HuggingFace对于数据集的map操作在本地是有缓存的，如果有了缓存就会直接读而不会重新执行map操作，解决办法是添加参数：map(load_from_cache_file=False)当我尝试修改batch_format_data()函数的逻辑时，发现最终返回的formated_data内容依旧和修改前一样。甚至我添加了print语句也没有打印。]]></description><category></category></item><item><title><![CDATA[学习RLHF、PPO之前需要掌握的RL基础]]></title><link>https://blog.youkuaiyun.com/DELEnomore/article/details/149782417</link><guid>https://blog.youkuaiyun.com/DELEnomore/article/details/149782417</guid><author>DELEnomore</author><pubDate>Wed, 30 Jul 2025 17:34:04 +0800</pubDate><description><![CDATA[学习RLHF和PPO之前所需的基础，涵盖Policy Gradient和Actor-Critic的相关知识]]></description><category></category></item><item><title><![CDATA[基于Langchain构建RAG大模型并测试结果]]></title><link>https://blog.youkuaiyun.com/DELEnomore/article/details/149205622</link><guid>https://blog.youkuaiyun.com/DELEnomore/article/details/149205622</guid><author>DELEnomore</author><pubDate>Tue, 08 Jul 2025 20:31:29 +0800</pubDate><description><![CDATA[RAG模型的回答全部正确，其中各种细节如参数规模、专家数量、以及KV缓存优化、RoPE技术均与材料中一致，问题是DeepSeek-MOE的原理，回复KV缓存和RoPE技术在逻辑上并不是很正确。至少对于一个1.7B的模型来说，回答全部是正确内容0幻觉，效果已经比较理想了。RAG果然厉害！]]></description><category></category></item><item><title><![CDATA[DeepSeek-V2 Device-Level Balance Loss与Communication Balance Loss的区别]]></title><link>https://blog.youkuaiyun.com/DELEnomore/article/details/148737209</link><guid>https://blog.youkuaiyun.com/DELEnomore/article/details/148737209</guid><author>DELEnomore</author><pubDate>Wed, 18 Jun 2025 15:33:06 +0800</pubDate><description><![CDATA[DBL偏重设备负载均衡而CBL偏重降低通信成本现在有3个设备，每台设备有三个Expert，有3个Token需要被处理，每个Token需要被3个Expert共同处理。假设有2种处理方式如下图：图1图2显然，每个设备都处理了3个Token，是负载均衡的；但是第二种处理方式无设备间通信。]]></description><category></category></item><item><title><![CDATA[RAG对比DPR]]></title><link>https://blog.youkuaiyun.com/DELEnomore/article/details/148171731</link><guid>https://blog.youkuaiyun.com/DELEnomore/article/details/148171731</guid><author>DELEnomore</author><pubDate>Fri, 23 May 2025 16:55:47 +0800</pubDate><description><![CDATA[DPR文章中做了将DPR与生成模型(一个基于BERT的reader)结合用于QA任务的尝试，RAG文章中也做了类似的事情并且证明效果优于DPR，那么RAG优于DPR的关键点在哪里？1.DPR文章中的模型，DPR和reader(一个BERT)模块是独立训练的，最终做一个拼接。而RAG是针对特定的任务端到端训练的，其中就包含DPR中的query encoder部分。2.RAG使用的BART模型的语义理解能力要优于DPR模型使用的BERT reader。]]></description><category></category></item><item><title><![CDATA[Transformer学习笔记]]></title><link>https://blog.youkuaiyun.com/DELEnomore/article/details/146937821</link><guid>https://blog.youkuaiyun.com/DELEnomore/article/details/146937821</guid><author>DELEnomore</author><pubDate>Wed, 02 Apr 2025 11:48:27 +0800</pubDate><description><![CDATA[将a的query和b的key、value相乘，得到一个与(a)长度相等的向量作为输出。4.Decoder的自回归特性限制其串行运行，同时每一个输入的处理都需要依赖Encoder的全部输出，所以实际运行的过程中Encoder的计算结束后才启动Decoder的计算。2.Maskedd Multi-Head Attention层的遮掩其实是通过乘一个特殊的矩阵(对角线的一边元素全是0)来实现的。3.Cross Attention层(Decoder中的Multi-Head Attention层)的运作方式。]]></description><category></category></item><item><title><![CDATA[基于Hugging Face库的大模型微调(附源码)]]></title><link>https://blog.youkuaiyun.com/DELEnomore/article/details/146180542</link><guid>https://blog.youkuaiyun.com/DELEnomore/article/details/146180542</guid><author>DELEnomore</author><pubDate>Wed, 19 Mar 2025 15:41:42 +0800</pubDate><description><![CDATA[如果你使用的是transformers库的Trainer来训练，训练数据中必须有['label']字段，而且我们的模型是一个自回归模型，所以['lable']字段的内容要和['input_ids']字段的内容一致。通俗地说，模型在看到输入结尾的assistant<|end_header_id|>部分，就知道当前应该回答问题，而不是续写文本(如果有兴趣可以对比一下输入套用模板时，输出的差别)。可见，训练后的模型文风已经变了，回答中标题的格式变了，并且出现更多的医学名词，虽然说的不一定对。]]></description><category></category></item><item><title><![CDATA[dot-product attention对比additive attention]]></title><link>https://blog.youkuaiyun.com/DELEnomore/article/details/146064922</link><guid>https://blog.youkuaiyun.com/DELEnomore/article/details/146064922</guid><author>DELEnomore</author><pubDate>Tue, 11 Mar 2025 11:00:39 +0800</pubDate><description><![CDATA[最近在读Attention Is All You Need这篇文章，原文描述：文章中没有细讲为什么dot-product attention优于additive attention。我们从两个方面探讨一下这个问题。]]></description><category></category></item></channel></rss>