xian_ren008的博客

本文是Anthropic团队基于Claude模型的模型解释工作，是对这篇On the Biology of Large Language Model阅读笔记的第二篇，专注于原文的数学计算部分

这篇文章是对Anthopic公司 Claude团队的LLM解释性研究工作 On the Biology of a Large Language Model的论文学习笔记的第一篇，这篇里主要介绍了解释工具CLT（cross-layer Transcoder的构造和LLM里面进行知识推理的方案

本文是对ICLR上一篇中稿文章 Learning Dynamic of LLM FineTuning的阅读笔记。本文简述了论文的结论，并详细拆解了文章中的关键事实，对理解LLM的post-train的机制有很好的帮助。

本文是对论文I Have Covered All the Bases Here- Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders 的学习笔记，这个文章揭示了Transformer模型做推理的时候的一种机制

这篇文章是对文章 s1:Simple test-time scaling的阅读笔记，同时增加了相关方法（包括一篇蚂蚁的综述论文和一篇Google的方法论文的简报。）能够给人一个time-time scaling常见做法的直观解释

本文是对Transformers without Normalization这篇文章的阅读笔记。包括论文的主要内容，和作者的一些想法。Transformer作为LLM（大语言模型）的基础结构，其中的Normalization步骤是长期验证过有效的模块。这篇论文研究了一种替代方案

包括本周速读的三篇文章，LLMs Can Easily Learn to Reason from DemonstrationsStructure, not content, is what matters!Predictive Data Selection: The Data That Predicts Is the Data That Teaches，和Compression Represents Intelligence Linearly

本周速读的两篇文章，一篇是关于标点符号在LLM中作用的，一篇是Lora能承载多少知识的

本文详述了deepseek关于Native Sparse Attention中关于transformer运算上的改造

总结和分析了LIMO和LIMA两篇文章的要点，微吐槽向