- 博客(22)
- 收藏
- 关注
RSS订阅原创 3.17日Man2Marine
（I）使用人类声音数据进行预训练；（II）迁移学习到海洋生物声学；（III）知识蒸馏。(I) 预训练（Pre-Training）先在人类语音数据库（Human Voice Database）上进行自监督学习，训练出一个预训练模型（Pretrained-model），让模型学习语音特征。预训练模型可以是主流语音识别领域的模型，如 Wav2Vec、HuBERT 等。(II) 迁移学习到海洋生物声学（Transfer Learning to Marine Bioacoustics）通过。
2025-03-17 21:22:42
614
原创 信号处理等相关知识点
这段话介绍了李等人提出的一种名为双交叉模态 (DCM) 注意力机制，它通过利用视频查询中的音频上下文向量和音频查询中的视频上下文向量来增强音频视频识别 (AVSR) 模型的性能，同时还引入了一种连接主义时间分类 (CTC) 损失函数来确保模型的单调对齐。
2025-03-17 16:24:25
1348
原创 仿海洋哺乳动物叫声
提出基于海豚哨声信号的仿生伪装水声通信方法。海豚哨声信号具有多阶谐波、宽 带、持续时间长、时频谱轮廓形状多样化等特点。基于海豚哨声信号时频谱轮廓进行信 息调制,实现仿生通信。主要包括海豚哨声信号建模、时频域谱轮廓提取和调制解调技 术。基于正弦信号模型对海豚声信号建模;时频谱包络提取包括哨声信号时频变换、包 络提取、剔除野点和平滑技术;提出基于海豚哨声信号时频谱轮廓线的分段 LFM 调制 法,采用相关法实现解调,进行了理论分析和仿真。
2025-01-02 10:49:50
209
原创 网络空间安全--同态加密技术
同态加密是一种加密算法，与普通加密算法不同。普通加密只能对数据进行加密、解密。同态加密对数据进行加密之后，还可以对密文进行一下操作。如果是普通加密，需要对数据解密之后才能继续操作。而同态加密不需要，且密文操作后解密结果是与明文相同的。同态加密中密文空间具体有特定的算符。私钥：解密。公钥：加密与计算两个不同的加密明文-->密文c/c密文域上的操作，只是定义为密文的加法，怎么实现，可以是通过别的计算来实现的。拿着公钥，没办法推出私钥。语义安全：密文不可逆。
2024-12-12 16:43:06
554
原创 同步--通信原理
利用海豚的哨声信号作为同步与识别信号，可以有效地确定通信的时序。海豚的哨声通常具有特定的频率和时域特征，能够在嘈杂环境中被区分出来。通过在通信过程中引入这种信号，接收方可以实现更准确的时间同步与信号识别。同步：通信的双方或多方在在时间上、或频率/相位上步调一致。
2024-11-02 19:21:09
191
原创 生成式对抗网络模型引出的知识点
这样会使GAN的训练稳定性出现问题，详情参考神经网络与深度学习书本的331页：判别器会将所有生成数据判别为0，会产生梯度消失。如果只是希望有一个模型能生成符合数据分布的样本，可以不显示的估计出符合数据分布的密度函数，使用隐式密度模型：GAN。在前文提到的GAN数据增强中，提到了显示密度模型（显示的构建出样本的密度函数，并通过最大似然数求解参数）。注意：每一个单词对应一个10，000的向量，而且权重几乎都为0。判别器：最大化分布之间的JS散度，更好的区别真实数据与生成数据。例如：10，000个单词。
2024-10-30 22:32:54
666
原创 自编码器--无监督学习
无监督学习的神经网络模型，主要用于特征提取、数据降维、数据去噪等。目标是：通过压缩输入数据并将其重建，逼近输入数据的原始形态。主要学习输入数据的核心特征。
2024-10-29 16:46:38
640
原创 GAN数据增强
一些生成模型不会直接通过显式地定义概率分布来生成数据，而是通过训练一个生成器模型，使其能够从目标分布中生成样本。这种方法的优势在于生成器可以通过反向传播进行训练，而不必处理复杂的概率分布估计问题。这类方法在深度学习中越来越受欢迎，因为它们可以高效地训练生成模型。
2024-10-27 22:14:32
1340
原创 卷积神经网络--多分类问题
上一节在pytorch中利用Softmax实现了多分类问题，神经网络设计选择的是全连接层（线性层串行），任意两个结点之间都有一个权重，每一个输入结点都要参与下一层任何一个输出结点结果的计算，这样会忽略对局部信息的利用。而且线性层将图像数据空间结构变为行，丧失原始空间结构。本节学习构建卷积神经网络对图像数据进行处理，卷积层可以保留图像原始的空间结构，而卷积核就像是滤波器，可以进行重要特征提取（权重要选好）。
2024-10-16 18:57:07
966
原创 多分类问题--Softm
打标签是把每一个类别看成是一个二分类问题，但是输出会出现问题，概率会相撞，和不为1，所属类别矛盾。前几层都是线性层--》激活层，最后的输出层不经过激活函数层，我们需要的是输出一个分布，满足上述两个条件，因此采用Softmax Layer。x=x.view(-1,784)：将四阶张量变为二阶张量，第一个-1，会自动根据N与通道数算出需要多少行，列为784个元素。总之，要求输出之间抑制，某个大了，其他小，此方法多分类问题本质是输出的是一个分布。（N，1，28，28）：第l层的线性层输出（最后一层）
2024-10-14 22:35:37
1010
原创 加载数据集--pytorch中DataLoader、Dataset实现mini-batch
lteration:batch一共分了多少个。eg:10000个样本，1000个batch-size，10次lteration。本次将利用Dataset、DataLoader实现mini-batch，将数据逐步分批喂给模型。yield:数据加载器，数据分批次加载，yield帮助实现按需生成这些批次的数据。eopch:所有的训练样本都进行了一次正向反向传播，参与训练。DataLoader:支持mini-batch。shuffle:数据集打乱，训练数据集不按顺序。之后进行模型训练时，是将全部样本喂入。
2024-10-09 17:34:00
422
原创 处理多维特征的输入
输入层--》隐藏层（n层）--》输出层，中间就是进行了多次线性变换，使用激活函数，给线性变换增加非线性变换因子，使得可以去拟合相应的非线性变换。--》神经网络设计所采用的方式。之前所实现的数据集是一对一，每个样本一个特征、一个标签。所实现的是一个输入，一个输出。本次我们的数据集为多维，每个样本8个特征，一个标签，可以理解为8个输入，一个输出。矩阵：空间变换函数。n维空间映射到m维的线性变换。
2024-10-06 18:06:09
240
原创 pytorch实现线性模型
本章以x_data=[1.0,2.0,3.0]、y_data=[2.0,4.0,6.0]为数据集，pytorch中所有的数据都以矩阵的形式输入。权重、偏置的维度需要根据输入、输出等层的数据维度以及运算方法才可知道。numpy中有广播机制（维度扩充），运算的时候矩阵维度不同，可扩。3.确定损失函数、优化器。2.构建模型model。
2024-10-04 20:15:36
301
1
原创 逻辑斯蒂回归分类问题
二元交叉熵损失：衡量模型的预测概率与真实标签之间的差异，模型输出的概率分布与目标分布之间的差异。交叉熵损失（BCELoss）的公式中前面有一个负号，是为了将。p模型的预测概率，激活函数挤压，p值范围：【0，1】，以适应梯度下降等最小化损失的优化算法。设n个样本，y为真实标签（0/1）
2024-10-03 20:21:18
282
原创 反向传播算法
隐藏层*激活函数--》输出值（激活函数：想到于挤压函数，将数值挤压到（0，1）区间。之后正向传播更新输出，反向传播更新权重，不断迭代，直到损失收敛，神经网络训练完成。前向传播：输入层到输出层的计算。损失函数对w求偏导，逐步更新w，寻找最优解。当输入、输出等层变多，神经网络图，计算更新权重、偏置一个一个算非常复杂低效。首先，更新输出层与隐藏层之间的权重，损失函数对权重求偏导。反向传播：神经网络图中，链式求导法则，更新权重，偏置。输出为预测值，与真实值运算，得到损失值。输入*权重（无偏置）--》隐藏层。
2024-10-02 10:50:44
164
原创 梯度下降算法
因为SGD每次只是用一个数据点来更新参数，所以在进行参数更新时，参数的更新频率较高，且每个更新都是依赖于上一个状态的（命令更新顺序很重要）。如果尝试并行处理多个样本的更新，可能会导致不同的计算单元对模型参数的更新产生竞争或者冲突，导致最终的模型不稳定或者结果不一致。问题：深度学习里使用梯度下降，样本点很多，每一个样本点x对应y，f(xi)、f(xi+1)可以并行计算。尽管可以计算多个样本的梯度，但由于参数的更新具有状态依赖性，直接将多个样本的更新结果并行化会导致不一致性。随机梯度下降：随机抽取一批样本。
2024-09-29 21:43:01
332
原创 2023数学建模E题--出血性脑卒中临床智能诊疗建模
构建曲线，在此基础通过聚类找到不同人群，构建不同人群水肿体积时间曲线。聚类得到亚组分组情况的基础，对聚类类内共性、类间差异分析，得到不同治疗方案对水肿体积进展模式影响，给出显著个体详细分析。拟合模型：线性or非线性。对变量进行描述性统计和相关性分析，绘制数据散点图、计算相关性系数，最大最小值，看数据分布，定拟合模型。分类模型：k近邻算法、支持向量机、随机森林、梯度提升决策树？方差分析剔除非显著性特征，相关系数计算方法得到相关性系数矩阵，并查集思想去除相关系数高的变量。例如：男，女-》0，1表示。
2024-09-20 22:06:48
414
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人