- 博客(11)
- 收藏
- 关注
RSS订阅原创 DeepLearning-week04
标准ViT的自注意力计算复杂度是平方级ON2O(N^2)ON2，其中NNN是Token的数量。对于高分辨率图像，这个计算量是巨大的。局部化注意力（Swin Transformer的Window Attention）：将图像Token分割成多个互不重叠的固定大小窗口，Attention计算只在窗口内部进行。将复杂度降低至与Token数量成线性关系ONO(N)ON，牺牲了部分全局连接性，但通过得到弥补。
2025-11-10 13:16:48
712
原创 DeepLearning-week03
还有波动的话只能说明还有其他地方或者算法有随机性的部分没有被固定下来，但是一些正常的波动应该是被允许的，毕竟你换了个环境实验都很有可能暴毙。如果指的是分类出来的结果和答案有所不同（每次都不同），那应该是模型欠拟合了，也不是坏事，如果每次都完全一样那应该是过拟合了，容易在陌生数据集上出问题。
2025-11-02 17:10:33
1004
原创 Deeplearning-week02
在每个 epoch 开始时，打乱数据顺序。训练时通常设为True，避免模型学习到数据的顺序依赖，提高泛化能力；：保持数据原始顺序。测试/验证时通常设为False。保证每次测试结果一致，便于评估和调试；
2025-10-21 12:38:43
942
原创 DeepLearning-week07-HSI-X
这是多模态遥感图像分类的核心任务之一，旨在融合不同传感器的数据，提升地物分类精度。模态特点提供信息高光谱（HSI）数百个连续窄波段丰富的光谱特征，可区分材料成分LiDAR激光雷达，返回高程与强度三维结构信息、地形起伏、高度特征SAR合成孔径雷达，全天候成像表面粗糙度、介电常数、穿透能力融合目标：结合 HSI 的“是什么”与 LiDAR/SAR 的“在哪里、有多高、多粗糙”，实现更鲁棒的分类。
2025-10-04 00:21:08
799
原创 深度学习_随记004_科研自我剖析
资源靠成果分配，成果怎么来的呢？很遗憾的是，科研虽然是象牙塔里的高岭之花，她也面临着现实的窘境，做科研是要钱的，更严重一点，有的领域的科研资料甚至处于一种捉襟见肘的状态，难以用经济价值衡量，属于就那么多，没分到你头上你也没办法的状况，深度学习领域稍微好些，毕竟出钱是真能买来算力的。，完全没有所谓的培养曲线，深度学习同样稍好一点，毕竟他热度高，人多了至少下层的修补工作做的人就多了，但同样很陡峭，包括深度学习中最重要的神经网络，直到今天他仍然处于一种黑盒状态，没有人能解释他的逻辑，也没有人能预测未来他的发展。
2025-10-01 19:57:37
338
原创 深度学习_随记002_知识性汇总解释
不过，值得注意的是，随着Transformer架构的发展，尤其是在Vision Transformer（ViT）方面，已经开始挑战CNN在某些视觉任务上的主导地位（实际上Transformer架构对CNN的冲击远不止。网络的底层通常学习到较为基础的特征（如边缘、角点、颜色变化等），随着网络层数的加深，高层逐渐学习到更加复杂的特征（如物体的部分或整体）。这种从简单到复杂、逐层加深的特征学习方式，使得CNN能够有效地处理复杂的视觉任务，并且能够提取到图像中丰富的、层次化的视觉信息。
2025-08-31 18:35:17
707
1
原创 OUC2025夏季-程序设计基础实践组会记录
本次组会记录持续更新至该项目结束。开发过程中会有每天例会，定于晚上7点，持续时间不超过十五分钟。每个人说三个问题：1.今天完成了什么2.遇到了什么困难3.明天计划做什么会议结束后每人提交意见，讨论“哪方面做的好”“哪方面不好”“要新开始做什么”。负责人会致力于解决上述问题。
2025-08-26 16:58:20
377
1
原创 Deeplearning-week01
08/21周四开启的本周学习，加上已经落下了许多课程，前期学习目标较为繁多。浅层神经网络：生物神经元到单层感知器，多层感知器，反向传播和梯度消失神经网络到深度学习：逐层预训练，自编码器和受限玻尔兹曼机LeNet和AlexNet都是卷积神经网络（CNN）发展史上的里程碑式模型，它们分别代表了两个时代的突破。模型年份提出者应用场景意义LeNet-51998 年Yann LeCun（杨立昆）手写数字识别（MNIST）第一个成功的卷积神经网络，奠定了 CNN 基础结构AlexNet2012 年。
2025-08-24 20:58:39
373
1
原创 深度学习_随记001
反向传播算法，BP算法是神经网络的“学习引擎”——它通过反向传递误差，告诉每一个权重“该怎么改”，从而让网络越学越准，当然也存在梯度消失和梯度爆炸等问题。，这是激活函数必要的特性（当然请理解为什么必要，而不是照本宣科地因为必要所以必要），原因在于激活函数会被大量使用，一旦复杂或者低效，时间耗费就不可估量。虽然ReLU如此优秀，但仍然有不少缺点，并非适用于所有场景，但这方面的知识我们不妨留置下周，也为我们的学习留下一点悬念。有点意思的是，虽然没有。，如果没有非线性，无论多少层网络都等价于一个线性模型。
2025-08-23 14:41:13
776
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人