- 博客(376)
- 资源 (6)
- 问答 (20)
- 收藏
- 关注
RSS订阅原创 工具 | 2024下半年 软考中级笔记
1、编译程序和解释程序解释器：翻译源程序时不生成独立的目标程序。解释程序和源程序要参与到程序的运行过程中。编译器：翻译时将源程序翻译成独立保存的目标程序。机器上运行的是与源程序等价的目标程序。源程序和编译程序都不再参与目标程序的运行过程。2、数据类型：①便于为数据合理分配存储单元②便于对参与表达式计算的数据对象进行检查③便于规定数据对象的取值范围及能够进行的运算3、传值调用：将实参的值传递给形参，实参可以是变量、常量和表达式。
2024-10-11 10:48:05
1049
1
原创 ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.29‘ not found
根据提示是 /usr/lib/x86_64-linux-gnu/ 路径下的 libstdc++.so.6 缺少版本 GLIBCXX_3.4.29。结果显示，里面确实有同类型的文件，我们直接选择一个查看是否有我们需要的版本。输出的结果如下，可以发现里面有我们需要的版本。可以发现输出的结果里确实缺少了我们需要的版本。
2024-08-26 23:39:42
2401
3
原创 Numpy兼容报错：A module that was compiled using NumPy 1.x cannot be run inNumPy 2.0.0 as it may crash
查阅相关资料和官网后后发现，应该是python3.9-3.12或者比较新的python版本，下载了numpy2.0的新版本，而numpy2.0是新发布的，与不同的python，torch版本之间的兼容性还不稳定，所以可能才会出现以上报错。一开始在尝试换版本的时候，我换到了numpy1.26.0，但复现的代码里面有显示numpy.long不支持。一查才发现1.26.0又不支持.long。直接更换numpy版本.
2024-08-26 23:31:42
2299
原创 OSError: Can‘t load tokenizer for ‘bert-base-uncased‘. If you were trying to load it from
将下载的权重文件，放到某个文件夹下（加载路径的位置）。，Models页面，下载对应的Bert模型的权重。修改权重文件的加载路径 ——页面，因此不能下载相应的权重。解决方法：手动下载文件到本地。函数里面的权重文件路径，必须写。
2024-06-27 09:27:16
4469
2
原创 深度学习 | 复杂注意力神经网络 —— 大模型
它是由谷歌在2018年提出的 双向Transformer 编码器模型。主要使用了Transformer的编码器Transformer 编码器堆叠；预训练 + 精调两步结构。BERT的创新之处主要在于预训练的微调，主要包括Mask的语言模型和NSP 下一句的预测，前者可以捕捉单词间的表示，后者可以捕捉句子间的表示。
2024-05-23 16:50:12
1517
3
原创 工具 | nohup不能打印python文件日志
nohup.out中显示不出来python程序中print的东西，这是因为python的输出有缓冲，导致nohup.out并不能够马上看到输出。python 有个-u参数，使得python不启用缓冲。2、不能及时输出日志。
2024-05-03 15:00:08
916
1
原创 【论文精读】 | Robust Multimodal Sentiment Analysis via Tag Encoding of Uncertain Missing Modalities
模态缺失 —— 特征融合 标签编码、公共空间投影
2024-04-20 16:26:21
1879
原创 【论文精读】| Missing Modality Imagination Network for Emotion Recognition with Uncertain Missing Modali
模态缺失 —— 统一模型、想象模块、缺失模态构建、CRA级联残差自编码器
2024-04-17 15:24:04
1786
原创 【论文精读】| Mitigating Inconsistencies in Multimodal Sentiment Analysis under Uncertain Missing Modaliti
模态缺失 —— 关键模态、集成学习、不一致问题、模态缺失重建、单模态缺失EMMR
2024-04-11 19:44:34
1267
原创 【论文精读】| CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusi
模态缺失
2024-04-08 10:11:23
1233
原创 【论文精读】| Learning Language-guided Adaptive Hyper-modality Representation for Multimodal Sentiment Ana
尽管多模态情感分析（MSA）通过利用来自多个来源（例如语言、视频和音频）的丰富信息证明了其有效性，但跨模态的潜在情感无关和冲突信息可能会妨碍性能的进一步提高。为了缓解这一问题，本文提出了自适应语言引导的多模态Transformer（ALMT），它结合了自适应超模态学习（AHL）模块，以在不同尺度下在语言特征的指导下从视觉和音频特征中学习一种抑制无关/冲突的表示。通过获得的超模态表示，模型可以通过多模态融合获得互补和联合表示，从而实现有效的MSA。
2024-03-27 15:14:47
1620
1
原创 【论文精读】| Transformer-based Feature Reconstruction Network for Robust Multimodal Sentiment Analysis
提高对数据丢失的鲁棒性已成为多模态情感分析（MSA）的核心挑战之一，在当前的研究中，针对具有不完全模态特征的MSA，提出了基于翻译的方法和张量正则化方法。然而，它们都无法处理非比对序列中缺失的随机模态特征。本文提出了一种基于Transformer的特征重构网络（TFR-Net），以提高模型对非对齐模态序列中随机缺失的鲁棒性。首先，采用基于模态内和模态间注意力的提取器来学习模态序列中每个元素的鲁棒表示。然后，提出了一个重构模块来生成缺失的模态特征。
2024-03-26 19:24:19
1818
原创 深度学习 | 神经网络
如果是在测试（预测）阶段，输出中数值最大的就代表了当前的分类。但是对于用于训练的网络，还远远不够，因为当前的输出y还不够漂亮，他的取值范围是随意的，算出来是什么就是什么，我们想让最终输出是一个概率的形式 —— softmax层 进行归一化。也就是说随着网络层数的增加，进行分类的准确率没有发生明显的变化，甚至可能下降。输入层是特征向量，如果输入的是一张32x32的灰度图像，那么输入层的维度就是32x32，为了处理方便，我们通常会将其reshape成列向量表示。在输出值不是0或1的情况下，具有非常好的非线性。
2024-03-20 18:32:36
7972
原创 【论文精读】Multimodal Sentiment Analysis with Preferential Fusion and Distance-aware Contrastive Learning
基于优先融合和距离感知对比学习的多模态情感分析数据集：MOSEI, MOSI, SIMS, and UR-FUNNY实验运行环境：一个 NVIDIA RTX 3090 GPU代码地址：Github：通过将监督样本中的相同label的样本作为正样本，不同label的样本作为负样本，来进行对比学习；正样本：同类型数据负样本：不同类型数据。
2024-03-19 21:32:21
3585
1
原创 【论文精读】MultiEMO: An Attention-Based Correlation-Aware Multimodal Fusion Framework for Emotion Recogni
会话中的情感识别（ERC）是自然语言处理界越来越流行的一项任务，旨在对说话人在会话中表达的话语进行准确的情感分类。大多数现有方法侧重于基于文本模态对说话者和上下文信息进行建模，而多模态信息的互补性没有得到很好的利用，目前很少有方法能够充分捕捉不同模态之间的复杂相关性和映射关系。此外，现有的最先进的ERC模型很难对少数群体和语义相似的情感类别进行分类。
2024-03-10 15:01:57
2551
6
原创 【论文精读】Attention Bottlenecks for Multimodal Fusion 视频分类任务
人类通过多模态输入来处理信息感知世界。机器感知模型却通常是单模态的。从每种模态中合并得到最终表示或预测（“late-fusion”）仍然是多模态视频分类的主要范式。相反，本文引入了一种新的基于Transformer的架构，该架构使用“fusion bottlenecks 融合瓶颈”进行多层模态融合。与传统的成对自我注意力相比，该模型迫使不同模态之间的信息通过少量的bottleneck latents 瓶颈延迟，要求模型整理和浓缩每个模态中的相关信息，并共享必要的信息。
2024-03-05 15:06:56
2687
原创 【论文精读】NHFNET: A Non-Homogeneous Fusion Network for Multimodal Sentiment Analysis
最近基于注意力的融合方法表现出高性能和强鲁棒性，然而却忽略了三种模式之间信息密度的差异，即视觉和音频具有低水平的信号特征，相反，文本具有高水平的语义特征。为此，本文提出了一种非齐次融合网络（NHENet）来实现多模态信息交互。具体而言，设计了一个具有注意力聚合（）的融合模块来处理视觉和音频模态的融合，以将它们增强为高级语义特征。然后，利用跨模态注意力实现文本模态的信息强化和视听融合。NHFNet补偿了不同模态的信息密度差异，从而实现了它们的公平交互。
2024-03-04 16:41:38
1512
原创 【论文精读】AcFormer: An Aligned and Compact Transformer for Multimodal Sentiment Analysis
融合：模态之间的异质性和不一致性。现有方法：缺乏对模态融合效率的考虑。为了解决这些问题，本文提出了AcFormer，它包含两个核心成分：模态内和模态间的对比学习，以在融合前明确对齐不同的模态流；为多模态交互/融合引入枢纽注意力机制 pivot attention。前者鼓励图像-音频-文本的正面三元组拥有与负面三元组相对的类似表征。后者引入了可以作为跨模态信息桥梁的注意力枢纽，并将跨模态注意力限制在一定数量的融合枢纽tokens上。
2024-03-04 10:25:41
1880
原创 对比学习 | 对比学习损失（InfoNCE loss）与交叉熵损失的联系 温度系数的作用
Info NCE loss是NCE的一个简单变体，它认为如果你只把问题看作是一个二分类，只有数据样本和噪声样本的话，可能对模型学习不友好，因为很多噪声样本可能本就不是一个类，因此还是把它看成一个多分类问题比较合理（但这里的多分类 k 指代的是负采样之后负样本的数量，下面会解释）。唯一的区别是，在cross entropy loss里，k指代的是数据集里类别的数量，而在对比学习InfoNCE loss里，这个k指的是负样本的数量。温度系数τ虽然只是一个超参数，但它的设置是非常讲究的，直接影响了模型的效果。
2024-03-03 19:27:47
18984
3
原创 【论文精读】| PS-Mixer: A Polar-Vector and Strength-Vector Mixer Model for Multimodal Sentiment Analysis
一方面，现有研究侧重于文本、音频和视觉等多模式数据的融合机制，而忽视了文本和音频、文本和视觉的相似性以及音频和视觉的异质性，导致情绪分析出现偏差。另一方面，多模式数据带来了与情绪分析无关的噪声，影响了融合的效果。本文提出了一种称为PS mixer的极向量和强度向量混合模型，该模型基于MLP mixer，以实现不同模态数据之间更好的通信，用于多模态情感分析。具体来说，分别设计了一个极性向量（PV）和一个强度向量（SV）来判断情绪的极性和强度。
2024-03-01 10:47:50
1863
1
原创 【论文精读】| ConKI —— ConKI: Contrastive Knowledge Injection for Multimodal Sentiment Analysis
多模态情绪分析利用多模态信号来检测说话者的情绪。以前的方法集中于基于从预训练的模型中获得的一般知识进行多模式融合和表示学习，而忽略了领域特定知识的影响。在本文中，提出了用于多模态情感分析的对比知识注入（ConKI），其中每个模态的特定知识表示可以通过基于Adapter架构的知识注入与一般知识表示一起学习。此外，ConKI使用在每个单一模态内的知识类型之间、在每个样本内的模态之间和在样本之间执行的分层对比学习过程，以促进对所提出的表示的有效学习，从而改进多模态情绪预测。
2024-02-27 18:46:07
1608
1
原创 【论文精读】| MulT —— Multimodal Transformer for Unaligned Multimodal Language Sequences
首篇跨模态Transformer
2024-02-26 10:51:59
5578
1
原创 【论文精读】VLP-MABSA —— Vision-Language Pre-Training for Multimodal Aspect-Based Sentiment Analysis
本篇论文发表于ACL-2022原文链接源码模态：图像+文本基于多模态方面的情感分析(MABSA)近年来越来越受到关注。然而，以前的方法要么(i)单独使用预训练的视觉和文本模型，忽略了跨模态的对齐;要么(ii)使用预训练的视觉语言模型，这些模型带有一般的预训练任务，这不足以识别细粒度的方面、观点及其跨模态的对齐。本文提出了一个针对MABSA的任务特定的视觉语言预训练框架(VLPMABSA)，这是一个统一的多模态编码器-解码器架构，用于所有预训练和下游任务。
2024-02-05 17:23:11
2149
转载 如何高效读论文？剑桥CS教授亲授“三遍论”：论文最多读三遍
量子位 报道 | 公众号 QbitAI嗑盐之始，在于读论文。一方面，把握最前沿的研究动态，激发自身研究灵感。另一方面，不做好文献调研，自己的绝妙想法变成了重复造轮子，这种体验可不太妙。那么，问题来了：到底该怎么读论文？每天单从arxiv上就能刷出成百上千篇新论文，顶会期间，论文更是如钱塘江大潮拍岸而来。如何才能不迷失在论文烟海之中，高效获取有效信息呢？
2024-01-31 15:31:36
141
原创 【机器学习 & 西瓜书】期末复习笔记整理
监督学习（supervised learning）的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。后剪枝是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。映射函数本身仅仅是一种映射关系，并没有增加维度的特性，不过可以利用核函数的特性，构造可以增加维度的核函数，这通常是我们希望的。方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散。
2024-01-09 21:47:05
2026
1
原创 深度学习 | Transformer模型及代码实现
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
2024-01-01 21:37:51
7234
原创 深度学习 | 注意力机制、自注意力机制
卷积神经网络的思想主要是通过卷积层对图像进行特征提取，从而达到降低计算复杂度的目的，利用的是空间特征信息；循环神级网络主要是对序列数据进行建模，利用的是时间维度的信息。而第三种 注意力机制 网络，关注的是数据中重要性的维度，研究怎么充分关注更加重要的信息，从而提高计算的准确度和效率。
2023-12-31 19:21:09
3093
1
原创 深度学习 | 编码器-解码器网络、seq2seq模型、束搜索算法
定义编码器self.embedding = nn.Embedding(vocab_size, ebd_size, padding_idx=3) # 将token表示为embedding# encoder_inputs从(batch_size, seq_len)变成(batch_size, seq_len, emb_size)再调整为(seq_len, batch_size, emb_size)
2023-12-31 14:41:32
3899
原创 深度学习 | DRNN、BRNN、LSTM、GRU
batch_first 为 True时output的tensor为（batch,seq,feature）,否则为（seq,batch,feature）# 初始化隐藏状态和细胞状态# 计算输出和最终隐藏状态# 网络结构。
2023-12-27 17:38:23
2009
原创 深度学习 | 基础卷积神经网络
卷积神经网络是人脸识别、自动驾驶汽车等大多数计算机视觉应用的支柱。可以认为是一种特殊的神经网络架构，其中基本的矩阵乘法运算被卷积运算取代，专门处理具有网格状拓扑结构的数据。
2023-12-23 19:13:44
1969
原创 深度学习 | 常见问题及对策（过拟合、欠拟合、正则化）
Universal Approximation Theorem：一个具有足够多的隐藏节点的多层前馈神经网络，可以逼近任意连续的函数。w 是仿射变换和偏置 b ，通常情况下我们只考虑对参数 w 作惩罚，这是由于在拟合偏置 b 时所需数据量比较少就可以拟合的很好了。通过在损失函数中加入对模型参数权值矩阵中各元素绝对值之和的惩罚项，来限制模型参数的值。每层每个神经元，以p 的概率保留，以1-p 的概率将权重设为零；泛化能力：训练后的模型应用到新的、未知的数据上的能力。L1正则化更倾向于产生稀疏解，适于特征选择。
2023-12-23 13:11:57
1592
原创 机器学习 | 概率图模型
见微知著，睹始知终。见到细微的苗头就能预知事物的发展方向，能透过微小的现象看到事物的本质，推断结论或者结果。概率模型为机器学习打开了一扇新的大门，将学习的任务转变为计算变量的概率分布。实际情况中，各个变量间存在显式或隐式的相互依赖，如朴素贝叶斯方法直接基于训练数据去求解变量的联合概率分布在时间复杂度还是空间复杂度均是不可行、不划算的。直接基于训练数据求解变量联合概率分布困难。Probabilistic Graphical Model，简称PGM，就是用图来表示变量概率间的依赖关系。
2023-12-22 00:02:20
1110
原创 机器学习 | PCA 主成分分析 (Principal Ccnt Analysis)
举个栗子：降维分别投影到x、y轴的分布是不同的。右边显然好一点，正确反映了投影前的位置关系。但投影到 x 轴就是最好的嘛？显然不是。所以降维操作要做的就是找到一条轴，将所有点投影到这条轴上，使得投影后的间距最大。这就是我们要寻找的 主元，就是投影轴。那用数学语言怎么表示呢？此时就必须借助线性代数这个工具了，其实线性代数要解决的就是在高维空间中如何描述数据以及这些数据之间的运算。
2023-12-20 21:48:01
1191
原创 机器学习 | 贝叶斯方法
不同于KNN最近邻算法的空间思维，线性算法的线性思维，决策树算法的树状思维，神经网络的网状思维，SVM的升维思维。贝叶斯1方法强调的是 先后的因果思维。判别式数据对于数据分布特别复杂的情况，比如文本图像视频；而生成式模型对于数据有部分特征缺失的情况下效果更好，而且更容易添加数据的先验知识 p(x)
2023-12-19 14:44:46
1258
opencv 3.4.1.15所需whl
2023-11-11
计组&操作系统 | 输入输出系统课件
2022-08-14
导师要求做基于netty的多线程多客户通讯仿真系统，请问需要学些什么方面的知识呀
2023-07-14
页表项和页框不是一一对应吗？
2022-05-15
CPU对DMA请求和中断请求的响应时间是否一样？
2022-04-27
关于cache的问题,请教一下各位
2022-04-06
78138译码器怎么确定取反？
2022-04-04
补码规格化问题 符号位是1 补码形式 尾数部分第一位也是1的话 需要规格化吗
2022-03-30
强制类型性转换问题？怎么结合
2022-03-29
请问这解法怎么错了 关于补码的问题
2022-03-26
AVL树左旋 伪代码 这三行可以互换吗
2022-03-17
折半查找不是要求待查找序列有序吗 为什么这么写
2022-03-17
结构体指针与结构体？
2022-03-14
结构体指针 sizeof问题
2022-03-12
如果修改树的一个结点的属性 不用引用，要是修改树的结点才用引用对吧
2022-03-10
线索二叉树 线索化函数的参数bt前为什么不加引用&？
2022-03-09
二叉排序树删除某个结点 这样做哪里错了？刚开始学不太懂
2022-03-05
c语言中的重复定义问题？这样算吗 还是只有赋值了才算
2022-03-03
if-else这个是局部变量吗？
2021-11-23
大三 普通二本计算机专业，想考研，又怕不能上岸，如何规划？
2021-11-21
c++ vector自定义数据类型创建对象 为啥不对
2021-10-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人