- 博客(9)
- 收藏
- 关注
RSS订阅原创 小模型推理能力增强实验
通常对于RL来说，冷启动是必要的，我从PrimeIntellect/NuminaMath-QwQ-CoT-5M数据集中过滤出了答案正确并且CoT长度小于2000的数据用来微调，在AIME2025和MATH-500数据集上验证结果。本文采用PrimeIntellect/NuminaMath-QwQ-CoT-5M数据集，该数据集是在NuminaMath数据集的基础上，使用Qwen/QwQ-32B模型生成了CoT数据。受DeepSeek-R1的启发，本文试图通过RL增强小模型的推理能力，验证小模型推理的潜力。
2025-10-09 16:08:01
852
原创 【踩坑】HuggingFace数据集map入参函数修改不生效
原来HuggingFace对于数据集的map操作在本地是有缓存的，如果有了缓存就会直接读而不会重新执行map操作，解决办法是添加参数：map(load_from_cache_file=False)当我尝试修改batch_format_data()函数的逻辑时，发现最终返回的formated_data内容依旧和修改前一样。甚至我添加了print语句也没有打印。
2025-09-05 11:00:29
150
原创 学习RLHF、PPO之前需要掌握的RL基础
学习RLHF和PPO之前所需的基础，涵盖Policy Gradient和Actor-Critic的相关知识
2025-07-30 17:34:04
844
原创 基于Langchain构建RAG大模型并测试结果
RAG模型的回答全部正确，其中各种细节如参数规模、专家数量、以及KV缓存优化、RoPE技术均与材料中一致，问题是DeepSeek-MOE的原理，回复KV缓存和RoPE技术在逻辑上并不是很正确。至少对于一个1.7B的模型来说，回答全部是正确内容0幻觉，效果已经比较理想了。RAG果然厉害！
2025-07-08 20:31:29
778
原创 DeepSeek-V2 Device-Level Balance Loss与Communication Balance Loss的区别
DBL偏重设备负载均衡而CBL偏重降低通信成本现在有3个设备，每台设备有三个Expert，有3个Token需要被处理，每个Token需要被3个Expert共同处理。假设有2种处理方式如下图：图1图2显然，每个设备都处理了3个Token，是负载均衡的；但是第二种处理方式无设备间通信。
2025-06-18 15:33:06
507
原创 RAG对比DPR
DPR文章中做了将DPR与生成模型(一个基于BERT的reader)结合用于QA任务的尝试，RAG文章中也做了类似的事情并且证明效果优于DPR，那么RAG优于DPR的关键点在哪里？1.DPR文章中的模型，DPR和reader(一个BERT)模块是独立训练的，最终做一个拼接。而RAG是针对特定的任务端到端训练的，其中就包含DPR中的query encoder部分。2.RAG使用的BART模型的语义理解能力要优于DPR模型使用的BERT reader。
2025-05-23 16:55:47
360
原创 Transformer学习笔记
将a的query和b的key、value相乘，得到一个与(a)长度相等的向量作为输出。4.Decoder的自回归特性限制其串行运行，同时每一个输入的处理都需要依赖Encoder的全部输出，所以实际运行的过程中Encoder的计算结束后才启动Decoder的计算。2.Maskedd Multi-Head Attention层的遮掩其实是通过乘一个特殊的矩阵(对角线的一边元素全是0)来实现的。3.Cross Attention层(Decoder中的Multi-Head Attention层)的运作方式。
2025-04-02 11:48:27
240
原创 基于Hugging Face库的大模型微调(附源码)
如果你使用的是transformers库的Trainer来训练，训练数据中必须有['label']字段，而且我们的模型是一个自回归模型，所以['lable']字段的内容要和['input_ids']字段的内容一致。通俗地说，模型在看到输入结尾的assistant<|end_header_id|>部分，就知道当前应该回答问题，而不是续写文本(如果有兴趣可以对比一下输入套用模板时，输出的差别)。可见，训练后的模型文风已经变了，回答中标题的格式变了，并且出现更多的医学名词，虽然说的不一定对。
2025-03-19 15:41:42
1384
原创 dot-product attention对比additive attention
最近在读Attention Is All You Need这篇文章，原文描述：文章中没有细讲为什么dot-product attention优于additive attention。我们从两个方面探讨一下这个问题。
2025-03-11 11:00:39
704
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人