- 博客(14)
- 收藏
- 关注
RSS订阅原创 文献阅读（4）——轻量级LoRA模块（LamRA）——（1）
轻量级LoRA（Low-Rank Adaptation，低秩适应）模块是一种用于高效微调大模型的先进技术。它的核心思想非常巧妙：**不直接修改大模型庞大的原始参数，而是通过注入一个极其精简的、“外挂”式的可训练模块来让模型适应新任务。**下面这张流程图清晰地展示了LoRA从微调到推理的完整工作流程。
2025-10-23 12:14:31
1009
原创 文献阅读(3)——CLIP（动作感知增强（动作三元组+动作状态提示）+LLM外部知识）——（3）
计算得到损失后，通过反向传播算法将梯度传递到模型的所有可训练参数（包括 Transformer 层、线性投影层、文本编码器等），优化目标是最小化损失，使模型学习到 “视觉特征与文本特征的对齐关系”。通过这两个阶段的训练，模型逐步从学习基础的动作 - 视觉关联，发展到能够高效完成复杂的实际任务，提升了模型的泛化能力和任务执行的准确性。要让 Transformer 层输出（维度 (n,2d)）与文本编码器输出（维度 (n,d)）在损失块中计算损失，需要先对维度进行。维度对齐后，可根据任务目标选择损失函数。
2025-10-16 20:40:34
303
原创 文献阅读(3)——CLIP（动作感知增强（动作三元组+动作状态提示）+LLM外部知识）——看的时候产生的一些想法——（3）
提示融合模块就像一个信息枢纽和翻译官。它接收来自“动作三联提示”的语义剧本和来自“动作状态提示”的视觉分镜图，然后通过上述某种或多种复杂的计算（如拼接、注意力、门控），将它们“编译”成一种CLIP图像编码器能够理解的、统一的多模态提示。这种融合后的提示不仅告诉编码器“要看什么”（厨师切西红柿），还暗示了“怎么看”（关注手和刀的特定运动模式），从而引导CLIP的图像编码器学习到同时包含物体语义和动作动态的、增强的视觉表示，最终在下游任务（如动作分类/检索）中表现更出色。
2025-10-16 20:40:10
1091
原创 文献阅读(3)——CLIP（动作感知增强（动作三元组+动作状态提示）+LLM外部知识）——（2）
简单来说，大语言模型生成动作三元组，是一个将其强大的语言理解能力、知识储备和逻辑推理能力，通过提示工程的引导，转化为结构化信息输出的过程。它已经超越了简单的模式匹配，成为一种能够理解上下文和隐含信息的强大工具。MLP 通过“拼接 + 非线性变换”将动作的 “抽象语义” 和 “具体执行细节” 深度融合，为后续模块提供更具表达力的特征，是 “从分开学到联合理解” 的关键步骤。
2025-10-16 20:39:31
1086
原创 文献阅读(3)——CLIP（动作感知增强（动作三元组+动作状态提示）+LLM外部知识）——（1）
总而言之，“通过引入提示学习来实现对象级对齐来迫使CLIP获得结构化的视觉表示”是一个精巧的技术路径。它让强大的CLIP模型突破了整体理解的局限，具备了精细的视觉结构分析能力，从而在开放词汇目标检测等需要细粒度理解的任务上展现出强大潜力。这个“手工制作的指令”是一个预设的提示模板，它远远超出了简单的原始描述。它的核心目的是清晰地向LLM说明任务、提供必要信息并规定输出格式。角色定义：明确LLM在生成过程中需要扮演的角色，例如“你是一个专业的运动分析专家”。任务说明。
2025-10-16 20:39:00
897
原创 文献阅读（2）——做笔记时的遇到的问题（2）
将来自图像编码器的、非语义的、高维的视觉特征，通过一个投影器，转换到预训练语言模型已经建立好的、充满语义的文本嵌入空间中。这使得语言模型能够将其固有的语言知识和推理能力“应用”于视觉信息之上。用户指令的文本本身不需要与图像特征对齐，因为它本来就已经在语言模型的语义空间里了。它的作用是引导模型如何“使用”这些已经被对齐的视觉信息。这个问题触及了视觉语言模型（VLM）架构设计中一个非常核心且精妙的细节。简单来说，这两种表述并不完全等同，它们背后往往对应着不同的模型设计哲学、融合深度和实现方式。
2025-10-09 14:24:39
846
原创 文献阅读（2）——论文代码重现与问题（3）
1：输入：变长序列特征 (B×K×D) 和对应长度 (B×1)2：位置编码：为序列生成位置信息3：权重学习：通过GRU+线性层学习每个位置的池化权重4：特征增强：对特征进行排序处理，强化重要特征5：池化输出：加权求和得到固定维度的池化特征 (B×D)从代码结构来看，主要包含Dataset定义数据处理函数数据加载器创建几个部分。Dataset类负责加载预计算的图像特征和文本描述，其中还涉及到教师模型提供的辅助描述。
2025-10-09 14:24:12
1039
原创 文献阅读（2）——看文献做的笔记（1）
所以，回答你的问题：最终生成的视觉语义描述是低维的。它并不是原始高维视觉特征的简单“翻译”，而是经过MLLM系统进行深度抽象、压缩和重构后得到的语义精华。这种从高维具体信号到低维抽象概念的转换能力，正是MLLM能够“理解”图像并与人有效沟通的关键所在。定义：VisRet是一种文本到图像（T2I）检索的新范式，全称为“先可视化后检索”。核心目标：减轻现有多模态嵌入在跨模态相似性对齐中的局限性。补充说明。
2025-10-09 14:22:46
991
原创 学习笔记（6）
模态差距问题是多模态人工智能领域一个核心且具有挑战性的问题。它揭示了让机器像人类一样自然融合和理解多种类型信息的复杂性。虽然目前已有多种方法尝试缓解这一问题，但它仍然是一个活跃的研究领域。工作流程的第一步是获取数据的特征表示，并为每个类别初始化一个具有代表性的原型。1:特征提取：首先，需要一个特征提取器（例如 CNN 或 Transformer）将输入数据（如图像）映射到一个高维特征空间。这个特征空间应能很好地捕捉数据的语义信息。
2025-09-26 11:24:40
1003
原创 暑期学习计划（5）
MNIST数据集是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。通过提供包含数值的Python列表(或嵌套列表)来为所需张量中的每个元素赋予确定值。常见的标准算术运算符(+、-、*、/ 和 * * )都可以,被升级为按元素运算。要改变一个张量的形状而不改变元素数量和元素值，我们可以调用reshape函数。我们可以通过张量的shape属性来访问张量的形状和张量中元素的总数。对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。对张量中的所有元素进行求和会产生一个只有-个元素的张量。
2025-09-04 00:04:28
332
1
原创 学习计划（4）
residual connection 是把input和output加起来，得到新的向量，在后再做norm，layer norm 是输入一个向量，输出另外一个向量，计算平均m与标准差σ,然后做一个normalize output，这边的每一个向量就是原来的向量减去平均之后除以标准差。怎么把图像生成的清晰一点，只需要网络去学习，首先要告诉它什么的东西是一个低分辨率，什么的东西是一个高分辨率，然后设计一个损失函数，让计算机学习低分辨率与高分辨率之间的关系。它 由四个部分组成，记忆细胞，遗忘门，输入门和输出门。
2025-08-26 14:36:40
727
原创 暑期学习计划（3）
决策树:是一种树形结构，可以看作是程序设计中的if-else结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果输出，最后每个叶子节点代表一种分类结果，本质是一棵由多个判断节点组成的树。在所有点中，选取一个点为圆心，以T1为半径，在这个圆内的点标记一个颜色，之后再以T2为半径，把落在圆环内的点标记另一种颜色。在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。故Gini 的值越小，数据集D的纯度越高。
2025-08-19 13:52:24
1073
原创 暑期学习内容（2）
高值𝛽要注意几点，你得到的曲线要平坦一些，原因在于你多平均了几天的温度，所以这个曲线，波动更小，更加平坦，缺点是曲线进一步右移，因为现在平均的温度值更多，要平均更多的值，指数加权平均公式在温度变化时，适应地更缓慢一些，所以会出现一定延迟。将四维转化为五维，可以构建这么一个矩阵，可以在里面做lookup=2，之后在反向传播算导数时，先做一个转置由4x5转为5x4，在它后面乘于（0，0，1，0），就可以把第二行提取出来，𝛽最常用的值是0.9，之前平均了过去十天的温度，所以现在平均了前十次迭代的梯度。
2025-08-05 15:47:58
634
原创 暑期学习笔记
最终的输出是一个矩阵，使用max()求每一行最大值的下标是多少,labels是一个n*1维的矩阵，size(0)，即取（N，1）中的N,之后标签与去测值是否相同，并计算和。通道数不变，维度会变成原来的一半。如果使用未归一化的特征，成本函数就像一个扁平的碗，如果使用归一化特征，则成本函数更加的对称，如果在左侧的成本函数上运行梯度下降，可能需要非常小的学习率，在计算机中使用的都是RGB通道的图像，将图像分为每一个格子，在每一个格子中添加颜色值，这就叫栅格图像，在拿到图像之后，要分成红，绿，蓝三种通道。
2025-07-29 15:26:32
986
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人