- 博客(11)
- 收藏
- 关注
RSS订阅原创 深度学习中字编码为什么需要使用独热编码？
直接用数字表示汉字会引入顺序和大小的偏差，导致模型学习到错误的关系。而独热编码是一种离散、无序的表示方式，能够避免这些问题，并且能够很好地与词嵌入技术结合，帮助模型学习到更有意义的特征。因此，在深度学习中，独热编码是更合适的选择。如果担心独热编码的高维度问题，可以进一步使用嵌入层（embedding layer）将其映射到低维连续向量空间，这样既能降低维度，又能捕捉语义信息。
2025-02-11 19:18:54
377
原创 深度学习优化器 SGD、Adam 和 AdamW 的对比分析
(以下内容源自deepseek r1)SGD（随机梯度下降）：Adam（自适应矩估计）：+ϵ)特点：自适应学习率，对稀疏梯度友好，初始学习率敏感度低。AdamW：+ϵ)+λθt)AdamW 分离权重衰减：θt+1=θt−η(m^t/(v^t+ϵ))−ηλθt\theta_{t+1} = \theta_t - \eta \left( \hat{m}_t / (\sqrt{\hat{v}_t} + \epsilon) \right) - \eta \lambda \theta_tθt+1
2025-02-02 14:34:43
959
原创 深度学习为什么需要随机种子？
（以下内容源自chatgpt 4o）在深度学习训练中，随机种子（Random Seed） 是一个非常重要的概念，它用于控制随机数生成器的行为，使得实验具有可重复性。深度学习中的许多过程涉及随机性，例如权重初始化、数据增强、数据打乱、Dropout 等，而随机种子的作用就是让这些随机过程的结果可控，从而使实验结果更加稳定和可重复。以下是深度学习训练中需要随机种子的原因及其详细解释：深度学习中的随机性主要来自以下几个方面：随机种子是用来控制随机数生成器的初始状态的。设置随机种子后，随机数生成器会按照固定的规则
2025-02-02 14:23:35
1011
原创 为什么卷积神经网络的卷积层和池化层通常交替使用，成对出现
卷积层和池化层交替使用是为了在特征提取和信息压缩之间取得平衡，提升计算效率和模型性能，同时避免过拟合和信息丢失。
2025-01-17 22:06:34
332
原创 为什么深度学习的训练数据需要预先打乱顺序
在深度学习中，打乱数据顺序能防止模型记住排列模式，提升泛化能力和优化效率，同时避免过拟合和类别不平衡问题，是训练中不可或缺的关键步骤。
2025-01-13 14:21:08
932
原创 深度学习为什么需要大量的多层的神经元构成神经网络
深度学习的神经网络之所以需要很多层和大量的神经元，即使每个神经元可能只使用简单的线性变换或非线性激活函数，是因为深度学习的核心思想是通过多层网络逐步提取和表示数据的复杂特征。
2025-01-02 21:58:09
458
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人