- 博客(19)
- 收藏
- 关注
RSS订阅原创 《论文写作》课程心得
在确定大的方向后，论文的摘要就可以动笔了。摘要是论文的骨干，通常包含三个部分：已有工作的评述，本文工作的描述以及实验的结果。我们可以将摘要拆成套路的数个部分进行描述：本文的领域或重要概念：这句话就是项目大方向的具体体现，它不仅为论文奠定研究领域的位置，也为自己的实际项目标出了边界。已有工作：在项目进行中，我们不可避免的会参考查阅其他人的论文和研究成果。这句话是对参考资料的总结，也是对将要在实际项目中参考的资料定一个主题。
2024-10-31 20:41:28
771
原创 周报(8.12-8.18)
DD-Net网络结构如上图所示。DD-Net也有一个为处理OpenFWI数据的版本：DD-Net70：与传统DL-FWI不同的是，DD-Net同时拥有两个解码器，第一个解码器的目标是传统的速度模型，它侧重于速度值的精确拟合，这也是用于生成速度图像的主要解码器；第二个解码器的目标是速度模型边缘信息，将Canny轮廓提取后的黑白边缘速度模型进一步用作第二解码器的拟合目标。此解码器将用作训练轮廓信息的辅助解码器。
2024-08-26 17:05:39
951
1
原创 周报(8.5-8.12)
我之前在复现InversionNet网络代码的过程中，因为我的设备内存不足，所以重写了Dataset类，实现分段加载数据来缓解内存压力。在写数据处理部分的代码时，为了模型更好的拟合，我是用了我更熟悉的标准化对数据进行了处理。ZσX−μ其中μ是原始数据的均值，σ是原始数据的标准差。经过公式处理之后，Z是一个均值为0，标准差为1的量，那么速度模型的值域就较为平均落到了横轴的附近，能够满足模型训练和预测中需要。
2024-08-13 15:20:42
1634
原创 周报(7.29-8.4)
学习了地震正演技术，但仍需加强学习∂t2∂2ua2∂x2∂2ufxtu是一维弦在纵轴上的波动位移，t是时间，a是加速度，x是弦的位置，a2ρTT是每微分弦端点所被施加的力，经计算T是恒量，ρ是弦密度，fxtρ1FxtFxt是某时施加在某处的外力。将一维方程扩展到二维，需要扩展对x的偏导到求xy的偏导，再结合前述条件，则二维声波自由震动方程为v21∂t2∂2U∂x2∂2U。
2024-08-06 14:54:23
886
原创 周报(7.22-7.28)
完成对FCNVMB的训练工作，并对比了FCNVMB和InversionNet的网络模型，发现以下特点。a. FCNVMB相比InversionNet，使用了跳跃连接，直接传递相关的特征给解码器，避免了编码器中特征的丢失。。
2024-07-29 19:28:56
785
原创 跳跃连接与残差连接 学习笔记
FCNVMB网络与InversionNet的另一组不同点在于，FCNVMB网络使用了跳跃连接，而ResNet使用的残差连接是一种特殊的跳跃连接，在学习相关知识点后，我将自己的理解记载在博客里。
2024-07-29 19:26:45
2881
1
原创 周报(7.15-7.21)
修改FCNVMB网络代码，在FCNVMB网络层前加入纵轴采样层，使其能支持OpenFWI数据的训练工作。由于我手上没有SEG的训练数据，所有修改模型，在保留FCNVMB特点的情况下引入InversionNet的下采样部分，把InversionNet的纯卷积下采样修改为FCNVMB风格的池化层下采样，使其能完成对OpenFWI数据的训练工作，修改模型如下修改数据集代码，使其拥有一定的随机性。
2024-07-22 17:20:59
899
原创 周报(7.8-7.14)
FCNVMB网络同样分为编码层和解码层，与InversionNet相同，FCNVMB同样使用卷积来提取特征，并使用反卷积来从特征中还原速度模型，但不同之处在于，InversionNet使用卷积来压缩特征，而FCNVMB网络使用的是最大池化层；使用这些模块构建FCNVMB网络，该网络数据形状变换较复杂，除了常规的网络模块外还存在跳跃连接，图像切割变换等，为了便于说明，详细的解释都在代码中。表示填充数据的反射，如左边填充的第1个将填充本行数据的第二个数据[(2 1) 0 1 2 (1 0)]，
2024-07-15 13:59:08
896
原创 池化层 学习笔记
FCNVMB网络与InversionNet有很多不同点，其中之一便是FCNVMB网络使用maxpooling取代了InversionNet的卷积下采样操作。所以整理了池化层的基础知识，记在博客里。:池化窗口的大小，可以是一组数据，并允许不同方向上取值不同stride:池化步长，默认值是:填充dilation:窗口中元素的步幅:如果为True，返回的将是最大值的下标，而不是最大值本身ceil_mode:如果为True，输出形状将上取整。
2024-07-15 13:57:59
474
原创 周报(7.1-7.7)
虽然速度图像中不含有负值，但速度图像本身数据值较大，且波动也较大，为了加快网络学习的速度，防止梯度爆炸，我们可以对速度图像数据进行归一化处理，根据归一化的方法不同，速度图像中可能出现负值，这时只能输出正值的Relu激活器就已经不再适用。而MSE损失的优点是对较大的预测误差有较高的惩罚，因为差异的平方放大了较大的误差。在原始的ReLU函数中，如果输入值小于0时输出为0，会导致在反向传播过程中权重的更新梯度值为0，从而导致无法学习，称之为“神经元死亡”现象。关于两者的区别和关系可见上周形成的博客。
2024-07-08 18:51:36
365
原创 权重衰减 学习笔记
权重衰减是一个经典的正则化技术，目的是减轻模型的过拟合现象。正则化是一种改善模型的泛化能力的技术，可以防止过拟合。正则化包括数据正则化，结构正则化和标签正则化。除了在损失函数中引入L1范数或L2范数进行正则化外，也可以采用诸如Dropout 技术进行。在深度学习中，模型训练通常采用梯度下降法来最小化损失函数，梯度下降法的目标是找到损失函数的局部最小值，使模型有最好的的预测能力。但是，如果模型的参数足够多，模型就更可能识别出训练集数据的特征，缺失了对数据的泛化性，造成过拟合的问题。
2024-07-08 18:50:38
1079
原创 周报(6.24-6.30)
在训练之前，我观察了师兄的代码，师兄在构建数据集时直接将所有数据全部读入内存。这种设计下数据集随机读取的代价仍然非常高昂，因此在加载。但在交流学习后我了解到这是正常现象，参数较多的模型确实需要更多轮次和数据进行训练，检查模型的输出也逐渐有了速度模型的雏形。但实际运行后，我发现这样的数据仍有问题，虽然单文件包含的500条数据可以迅速的被读取，但一旦读取新的文件的数据时，读取过程仍然会阻塞训练。这样一来，在训练过程中，数据集始终加载了未来要训练的数据，当模型训练时就能直接取出数据，减少IO时间。
2024-07-01 18:43:30
369
原创 优化器学习笔记
最近在学习模型的过程中，发现同一个模型，我使用了SGD进行优化，别人使用了Adam进行优化，所以认真学习了一下这些优化器的原理。优化器不像损失函数，对不同问题有不同的函数可供选择。不同的优化器更像是在深度学习技术进步的过程中对前种优化器的不断改进。大致的演进过程可分为SGD-Momentum-NAG-AdaGrad-RMSProp-Adam-AdamW。
2024-07-01 18:41:42
1944
原创 周报(6.17-6.23)
上图的上半部分是编码器结构，由于数据在时间维度的尺度过大，原图首先经过了5次卷积，保证时间维度和空间维度大小相似后再同时进行卷积，形成512个单一的特征。FWI数据集包含许多数据单元对，每对数据可以视作同一地点的探测与真实结果。数据单元对包含地震数据和速度模型，地震数据包含同一地理位置有间隔的施加振动源后获取的传感器数据，施加几次地震源就有几幅地震数据剖面图。读取SEG盐数据时，我发现单个数据文件包含一个数据单元对，地震数据共有29炮的剖面图，有301道数据，400个时间单位数据。
2024-06-23 13:41:19
956
原创 深度学习原理学习3：神经网络学习
本文是深度学习原理的简单回顾，是作者学习斋藤康毅的《深度学习入门-基于Python的理论与实现》中产生的感悟和笔记。
2024-06-16 19:15:07
1822
原创 深度学习原理学习2：神经网络与激活函数
本文是深度学习原理的学习笔记，是作者学习斋藤康毅的《深度学习入门-基于Python的理论与实现》中产生的感悟和笔记。
2024-06-16 19:11:50
875
原创 深度学习原理学习1：感知机
本文是深度学习原理的学习笔记，是作者学习斋藤康毅的《深度学习入门-基于Python的理论与实现》中产生的感悟和笔记。
2024-06-16 19:05:59
784
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人