- 博客(4)
- 收藏
- 关注
RSS订阅原创 Transformer 学习笔记
（1）由每个编码器的输入向量生成三个向量，即查询向量、键向量和一个值向量。（4）将每个值向量乘以对应softmax分数(以此来关注语义上相关的单词，并弱化不相关的单词),最后对加权值向量求和，即得到自注意力层在该位置的输出。这些分数是通过所有输入句子的单词的键向量与“目标单词”的查询向量相点积来得到的。对输入的文本以单词为单位进行切分，再对单词序列编码，使用独热向量表达，再将独热向量映射为低维向量，可通过Word2Vec实现。线性层：通过对上一步的线性变化得到指定维度的输出，也就是转换维度的作用.
2025-05-30 20:53:50
401
原创 神经网络与深度学习 学习笔记3
由 5 组卷积块组成，每组内使用 2-3 个 3×3 卷积层，通道数随层数增加（64→128→256→512），空间尺寸减半（224×224→112×112→…：适用于深层网络（如 ResNet-50/101/152），通过 1×1 卷积先降维再升维，减少计算量（如输入通道 256→64→256，计算量降低为原来的 1/4）。：以 “深度优先” 为原则，通过堆叠 3×3 小尺寸卷积核（感受野等价于 5×5/7×7 核）和 2×2 最大池化，构建 16 层权重层的深层网络。
2025-05-25 15:01:35
308
原创 卷积神经网络 学习笔记
为解决这些问题，局部连接网络应运而生，它减少了权值连接，每个节点仅连接上一层的少数神经元，提高了计算效率。CNN 的基本概念包含特征提取，受人类视觉感知启发，通过卷积操作提取图像特征；从全连接网络的问题出发，了解到深度学习平台的多样性和特点，掌握了 CNN 的基本概念和典型任务，深入剖析了 LeNet - 5 网络结构。深度学习在图像领域有多种典型任务，如基于图像中主要对象进行分类的图像分类、预测包含主要对象区域的目标定位、对图像中所有对象进行定位和分类的目标识别，以及语义分割、实例分割、关键点检测等。
2025-05-12 13:46:44
139
原创 神经网络与深度学习 学习笔记1
Adam 算法在 RMSProp 的基础上，进一步保留历史梯度的指数衰减平均，兼具动量和自适应学习率的优势，能够更高效地训练模型。然而，随着数据量爆发式增长以及非结构化数据增多，传统机器学习面临诸多挑战，如在大数据处理和特征工程方面的瓶颈，深度学习则应运而生，成为推动人工智能发展的核心力量。在反向传播过程中，算法将误差（样本输出与网络输出之差）按照原连接通路进行反向计算，并依据梯度下降法对各层节点的权值和阈值进行调整，从而逐步减小误差，使网络输出不断逼近真实值。全连接网络则基于提取的特征进行分类决策。
2025-05-05 15:52:40
517
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人