- 博客(21)
- 收藏
- 关注
RSS订阅原创 Soft thinking和MixtureofInputs——大模型隐空间推理——本周论文速读
本文是针对两篇大模型隐空间推理优化工作的文章速读文章1 是：Text Generation Beyond Discrete Token Sampling，他提出的方法名叫 MOI 后面就称文章1 为MOI文章2 是： Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space 后面称Softthinking本篇对两篇文章的方法做了拆解和比较。
2025-05-27 13:45:50
530
原创 提升推理能力会丢失指令跟随的能力？——【论文阅读笔记】
本篇是对When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs 和Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models 这两篇论文的阅读笔记，指的注意的是，作者并不认同这两篇文章的结论，并对着两篇论文中的论证缺失的部分提出了批评
2025-05-23 13:05:30
1104
1
原创 Beyond ‘Aha!’: Toward Systematic Meta-Abilities Alignment in Large Reasoning Models【论文阅读笔记】
本文是针对huggingface 0516 paper of the day的论文 Beyond ’aha‘:Toward Systematic Meta-Abilities Align in Large Reasoning Model的论文阅读笔记和对应的评价及猜测
2025-05-20 12:17:59
823
1
原创 Training Large Language Models to Reason in a Continuous Latent Space——LLM隐空间推理系列论文笔记
本文是针对LLM隐空间推理这一技术路线上，相关有价值的文章的系列总结的第一部分，收录了Coconut和CODI两篇文章的介绍
2025-05-13 18:51:00
872
1
原创 On the Biology of a Large Language Model——论文学习笔记——拒答和越狱
本篇是对Anthropic团队的模型解释工作 On the Biology of a Large Language Model的阅读笔记的最后一篇。主要讲了 模型在什么机制的引导下会拒答，又在什么机制的引导下，会被越狱成功。
2025-05-06 18:51:10
895
原创 On the Biology of a Large Language Model——Claude团队的模型理解文章【论文阅读笔记】其二——数学计算部分
本文是Anthropic团队基于Claude模型的模型解释工作，是对这篇On the Biology of Large Language Model阅读笔记的第二篇，专注于原文的数学计算部分
2025-04-27 13:38:28
997
1
原创 On the Biology of a Large Language Model——Claude团队的模型理解文章【论文阅读笔记】其一CLT与LLM知识推理
这篇文章是对Anthopic公司 Claude团队的LLM解释性研究工作 On the Biology of a Large Language Model的论文学习笔记的第一篇，这篇里主要介绍了解释工具CLT（cross-layer Transcoder的构造和LLM里面进行知识推理的方案
2025-04-23 21:22:08
1645
1
原创 LEARNING DYNAMICS OF LLM FINETUNING【论文阅读笔记】
本文是对ICLR上一篇中稿文章 Learning Dynamic of LLM FineTuning的阅读笔记。本文简述了论文的结论，并详细拆解了文章中的关键事实，对理解LLM的post-train的机制有很好的帮助。
2025-04-11 14:17:00
1198
1
原创 I Have Covered All the Bases Here-Interpreting Reasoning Features in Large Language Models SAE【论文笔记】
本文是对论文I Have Covered All the Bases Here- Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders 的学习笔记，这个文章揭示了Transformer模型做推理的时候的一种机制
2025-03-28 13:59:08
772
1
原创 s1: Simple test-time scaling 【论文阅读笔记】
这篇文章是对文章 s1:Simple test-time scaling的阅读笔记，同时增加了相关方法（包括一篇蚂蚁的综述论文和一篇Google的方法论文的简报。）能够给人一个time-time scaling常见做法的直观解释
2025-03-25 12:08:16
1209
1
原创 Transformers without Normalization 论文阅读笔记
本文是对Transformers without Normalization这篇文章的阅读笔记。包括论文的主要内容，和作者的一些想法。Transformer作为LLM（大语言模型）的基础结构，其中的Normalization步骤是长期验证过有效的模块。这篇论文研究了一种替代方案
2025-03-18 21:15:28
1187
1
原创 Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs精读
本文是对Phi-4 multimodal模型的论文阅读笔记
2025-03-15 20:38:27
1197
原创 【一周论文速读笔记】LLM怎么缩减COT推理长度？Fractal Generative Models & Chain of Draft & Sketch-of-Thought
这篇博客整理了这周读过的三篇文章，fractal generative models Chain of Draft: Thinking Faster by Writing Less Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching其中后两篇是在优化COT形式的方式上做LLM推理加速的。
2025-03-12 13:55:25
1060
原创 【一周论文速度笔记】推理步骤对COT数据的正确性+如何挑选质量好的数据
包括本周速读的三篇文章，LLMs Can Easily Learn to Reason from DemonstrationsStructure, not content, is what matters!Predictive Data Selection: The Data That Predicts Is the Data That Teaches，和Compression Represents Intelligence Linearly
2025-03-05 15:11:29
1042
原创 【一周论文速读笔记】LLM中标点符号的作用LLM-Microscope: Uncovering the Hidden Role of Punctuation
本周速读的两篇文章，一篇是关于标点符号在LLM中作用的，一篇是Lora能承载多少知识的
2025-02-28 13:42:26
884
原创 【论文阅读笔记】Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
本文详述了deepseek关于Native Sparse Attention中关于transformer运算上的改造
2025-02-26 14:55:05
1464
1
原创 【0样本起手做多标签分类任务】2——模型架构
介绍了一种[可插拔]的分类模型结构，仍然是Transformer模型结构的一种简单改进，实现简单，实践操作简单，维护方便。
2025-02-24 20:26:31
1201
原创 【0样本起手做多标签分类任务】
随着LLM的流行，NLP算法工程师的需求变得越来越多，迭代周期却越来越短。本文介绍几个在【开局0样本的情况下，快速完成样本积累和模型训练】的trick和小改进。
2025-02-17 19:52:06
713
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人