- 博客(14)
- 收藏
- 关注
RSS订阅原创 LEARNING DYNAMICS OF LLM FINETUNING【论文阅读笔记】
本文是对ICLR上一篇中稿文章 Learning Dynamic of LLM FineTuning的阅读笔记。本文简述了论文的结论，并详细拆解了文章中的关键事实，对理解LLM的post-train的机制有很好的帮助。
2025-04-11 14:17:00
993
1
原创 I Have Covered All the Bases Here-Interpreting Reasoning Features in Large Language Models SAE【论文笔记】
本文是对论文I Have Covered All the Bases Here- Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders 的学习笔记，这个文章揭示了Transformer模型做推理的时候的一种机制
2025-03-28 13:59:08
748
1
原创 s1: Simple test-time scaling 【论文阅读笔记】
这篇文章是对文章 s1:Simple test-time scaling的阅读笔记，同时增加了相关方法（包括一篇蚂蚁的综述论文和一篇Google的方法论文的简报。）能够给人一个time-time scaling常见做法的直观解释
2025-03-25 12:08:16
1162
1
原创 Transformers without Normalization 论文阅读笔记
本文是对Transformers without Normalization这篇文章的阅读笔记。包括论文的主要内容，和作者的一些想法。Transformer作为LLM（大语言模型）的基础结构，其中的Normalization步骤是长期验证过有效的模块。这篇论文研究了一种替代方案
2025-03-18 21:15:28
1160
1
原创 Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs精读
本文是对Phi-4 multimodal模型的论文阅读笔记
2025-03-15 20:38:27
1146
原创 【一周论文速读笔记】LLM怎么缩减COT推理长度？Fractal Generative Models & Chain of Draft & Sketch-of-Thought
这篇博客整理了这周读过的三篇文章，fractal generative models Chain of Draft: Thinking Faster by Writing Less Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching其中后两篇是在优化COT形式的方式上做LLM推理加速的。
2025-03-12 13:55:25
1026
原创 【一周论文速度笔记】推理步骤对COT数据的正确性+如何挑选质量好的数据
包括本周速读的三篇文章，LLMs Can Easily Learn to Reason from DemonstrationsStructure, not content, is what matters!Predictive Data Selection: The Data That Predicts Is the Data That Teaches，和Compression Represents Intelligence Linearly
2025-03-05 15:11:29
989
原创 【一周论文速读笔记】LLM中标点符号的作用LLM-Microscope: Uncovering the Hidden Role of Punctuation
本周速读的两篇文章，一篇是关于标点符号在LLM中作用的，一篇是Lora能承载多少知识的
2025-02-28 13:42:26
868
原创 【论文阅读笔记】Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
本文详述了deepseek关于Native Sparse Attention中关于transformer运算上的改造
2025-02-26 14:55:05
1357
1
原创 【0样本起手做多标签分类任务】2——模型架构
介绍了一种[可插拔]的分类模型结构，仍然是Transformer模型结构的一种简单改进，实现简单，实践操作简单，维护方便。
2025-02-24 20:26:31
1165
原创 【0样本起手做多标签分类任务】
随着LLM的流行，NLP算法工程师的需求变得越来越多，迭代周期却越来越短。本文介绍几个在【开局0样本的情况下，快速完成样本积累和模型训练】的trick和小改进。
2025-02-17 19:52:06
679
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人