Fairy要carry
论文阅读：KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation
作者构建了一个含有8000个知识内容的知识集，并拆分成了六个不同类别的数据集，评估了推理效果，指标为ACC和R1（衡量输出和参考答案的相关性）对实体进行标准化的目的类似于：在某个时间点，某种年龄和某种性别的人并发症状可能比较明显，因此我们可以利用实时的外部知识去丰富实体的属性内容。我的想法是将余弦相似度与KL散度，然后利用词典对句子分词，捕获谓语动词评价其词汇的情感，将三者综合起来作为句子与句子之间的相似度。一个具体的人，做了具体的事，怎么样做的。**过程：**结构化信息获取、知识对齐、存储。
Wils0nEdwards
COD论文笔记SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmen
引言部分概述了图像分割的重要性、现有基础模型的潜力及其局限性，并提出了本文的研究目标，即通过提出SAM2-UNet，构建一个强大、简单、且适用于多种任务的分割框架。引言也为接下来的模型设计和实验铺垫了理论基础。SAM2-UNet 通过将 SAM2 的 Hiera 预训练骨干网络与 U 形解码器相结合，构建了一个简单、高效、强大的图像分割框架。模型使用接收域块减少通道数，并通过适配器实现参数高效的微调。该方法在多种任务上展现了极强的通用性，能够适应不同类型的图像分割需求。
Zhouqi_Hua
LLM论文笔记 20: How to think step-by-step: A mechanistic understanding of chain-of-thought reasoning
具体地，模型被要求预测下一个token，而这些头在模型中负责不同类型的推理任务（决策、复制、归纳推理）。研究的重点是如何通过任务分解来分析模型的推理过程，识别在每个推理步骤中起作用的注意力头，并分析模型如何在多条并行路径中生成答案。：Llama-2 7B在第16层存在一个“功能断裂”，即模型在这层附近从依赖于预训练的语言统计（例如，双元组的统计关联）过渡到关注当前任务上下文的信息。方法，通过对模型进行多次前向传递并比较不同的输入条件（如污染的输入和正常输入），分析不同注意力头对模型决策的影响。
