- 博客(10)
- 收藏
- 关注
原创 详尽论文阅读笔记《Predictive Dynamic Fusion》
大多数现有的动态多模态融合方法缺乏理论保障,容易陷入次优问题,从而导致不可靠和不稳定。为了解决这一问题,提出了一种具有理论保障的预测动态融合(PDF)框架,用于多模态学习。从泛化的角度揭示多模态融合,并理论推导出可预测的协同信念(Co-Belief)及其单模态和整体置信度,这在理论上可以降低泛化误差的上界。因此,进一步提出了相对校准策略,用以校准预测的协同信念以应对潜在的不确定性。
2025-11-27 15:13:31
644
原创 笔记:Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition
题目:在有缺失模态情况下,基于多模态提示词学习的多模态情感识别。
2025-10-09 21:06:34
1207
原创 论文阅读笔记( A joint framework for mining discriminative and frequent visual representation)
类别的视觉表示,是一种视觉模式(Visual Patterns),视觉模式是图像中常见的基本视觉元素,往往比原始像素传达更高级的语义。视觉代表(Visual Representation),与视觉模式不同。PS:visual patterns与visual representation的区别(KIMI AI):作者研究:视觉代表(Visual Representation)挖掘技术。认为其有两个重要属性:判别性(类别代表特征)与频繁性(频繁出现)。手工设计的特征首先被用于视觉模式挖掘。
2025-06-29 15:28:02
939
1
原创 LLM导论(李宏毅课程笔记)
1.生成式人工智能: 能产生复杂有结构,较难穷举的事物。分类不是生成式人工智能2.机器学习:从数据中学习得一个函数(范式),即自己找出函数的参数。深度学习算机器学习的一部分(文中所有图源:李宏毅LLM课)对于大语言模型,要产生训练时没有看过的答案。chatGPT:(生成式预训练transformer)序列生成文字,对于下一个文字采用掷骰子的方法预测,而非直接选概率最大的。token:开发者设计的GPT:空有资料储备,只经过预训练(自监督学习),回答问题能力不强。
2025-04-19 15:13:54
1467
原创 卷积神经网络CNN超详解(基于pytorch的CIFAR10分类实例)
环境配置,pytorch环境需要的包如下基于卷积网络的cifar10为数据集的图像分类。cifar10:60000张3*32*32的图片。50000训练,10000测试,共十个类别,10 个类别分别是飞机(airplane)、汽车(automobile)、鸟(bird)、猫(cat)、鹿(deer)、狗(dog)、青蛙(frog)、马(horse)、船(ship)和卡车(truck)。卷积神经网络:一种深度神经网络,模拟神经元,用于自动提取特征,一般由卷积,池化,激活,全连接层组成。# 第一个卷积层。
2025-03-23 14:51:14
1991
原创 c语言重识(C语言程序设计·现代方法----N.K.KING学习笔记)
10.命令行参数:运行程序经常要提供一些信息,如UNIX的 ls 等许多命令,为访问这些命令行参数,必须将main函数定义为有俩个参数的函数,argc和argv:int main(int argc,int *acgv[]){},argc是参数计数,argv是参数向量,是指向命令行参数的指针数组,这些命令行参数以字符串数组的形式存储。赋值运算符“=”右结合,其左边必须是“左值”,即为对象(变量),自增自减,++i是立刻自增,i++是稍后自增,即目前用i没加前的值,从下一条语句开始使用+1的值,--类似。
2025-03-04 21:52:59
554
原创 论文阅读笔记:DQ-Former :Querying Transformer with 动态模态优先级 for Cognitive-aligned (认知对齐的)的对话情感识别
过去工作主要聚焦于复杂单峰特征提取(complex unimodal feature extraction),或者复杂的融合技术,像一般的多模态分类任务一样。但是,人类的感知过程是不同的,每个模态都有其独特贡献。DQ——FORMER目标是更符合人类认知的多模态融合框架(more cognitive-aligned multimodal fusion framework),使用一小组query token ,来从预训练的单模态模型不同层中收集和浓缩不同粒度的情感线索。
2025-03-04 21:51:31
2005
1
原创 《Attention Is All You Need》阅读笔记
提出一种新的模型:transformer;基于(attention)注意力的,而非recurrent(循环)或convolutional(卷积)的。当输入输出结构化信息比较多的时候,会使用编码器-解码器的有关架构。RNN是时序进行的,导致其无法并行,性能较差多头注意力机制(multi-head attention):模拟卷积神经网络的多通道输出自注意力机制:transformer只利用自注意力机制来做依赖于encoder,decoder架构的模型。
2024-12-01 16:35:50
639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅