深度学习的一些名词

本文详细探讨了batch_size在训练中的作用,即每次迭代处理的样本数量,以及epoch的概念,即模型完整遍历所有样本的次数。同时,对图像输入与卷积层的维度进行了清晰的对应解释。
部署运行你感兴趣的模型镜像

1.batch_size与epoch

batch_size 表示每次处理的样本的数目,loss=loss(x1)+loss(x2)+…loss(x_batch_size)=f(w1)+f(w2)+…f(w_n)
f(w)表示从众多loss中提取的w_m的分量之和,其实不这么写也没关系,不过是求偏导的时候变成求众loss对某w的偏导之和

epoch_num: 表示要训练几轮,每一轮所有的样本都会参加,分数次进行,每一次选batch_size个样本来训练模型并进行一次模型的权重更新

2.图像输入与卷积层各维度对应的意义

图像
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
卷积核:(n,d,w,h),可以认为是n表示多少个(输出)通道,d表示每个通道的深度,w与h表示长宽
图像:(n,c,w,h),n表示批量数,c表示每个批量的深度(灰度图为1.rgb图为3),w与h表示长宽

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

### 深度学习术语解释 #### 张量(Tensor) 张量是一个多维数组,在深度学习中被广泛用来表示数据和模型参数。它是深度学习框架的核心数据结构之一,支持高效的数值计算[^1]。 #### 神经网络(Neural Network) 神经网络是由多个节点(称为神经元)组成的计算模型,这些节点按照特定的拓扑结构连接在一起。它们可以模拟复杂的非线性关系,适用于分类、回归等多种任务。 #### 损失函数(Loss Function) 损失函数是用来衡量预测值与真实值之间差异的一个指标。常见的损失函数有均方误差(MSE)、交叉熵损失等。优化的目标是最小化该函数的值。 #### 优化器(Optimizer) 优化器是指定如何调整模型权重以最小化损失函数的方法。常用的优化算法包括随机梯度下降(SGD)、Adam、RMSprop等。 #### 激活函数(Activation Function) 激活函数引入了非线性因素到神经网络中,使得模型能够逼近更复杂的功能映射。典型的激活函数包括ReLU、Sigmoid、Tanh等。 #### 前向传播(Forward Propagation) 前向传播是从输入层经过隐藏层逐层传递至输出层的过程。在此过程中,每一层的输出作为下一层的输入参与运算。 #### 反向传播(Backward Propagation) 反向传播是通过链式法则计算梯度并将其反馈给各层以便更新权值的技术。这是训练神经网络的关键步骤之一。 #### 批量(Batch) 批量指每次迭代所使用的样本数量。批处理有助于减少内存占用以及提高GPU利用率的同时保持一定的收敛速度。 #### 欠拟合(Underfitting) 当模型无法捕捉到数据中的模式时发生欠拟合现象;通常表现为高偏差低方差状态下的性能不佳情况。 #### 过拟合(Overfitting) 过拟合指的是模型过度适应训练集而丧失泛化能力的现象;此时虽然在训练集中表现良好但在测试集上却较差。 #### 正则化(Regularization) 正则化技术旨在防止过拟合并提升模型的一般化水平。L1/L2范数惩罚项加入目标函数即为一种常见形式。 #### 学习率(Learning Rate) 学习率控制着每一步参数更新的程度大小。适当设置此超参对于实现有效且稳定的训练过程至关重要。 #### 收敛(Convergence) 收敛描述的是随着训练轮次增加,损失逐渐接近某个固定值的状态。理想情况下希望达到全局最优解附近区域停止变化趋势。 #### 空间金字塔池化 (Spatial Pyramid Pooling, SPP) 空间金字塔池化允许卷积神经网络接受任意尺度图片作为输入,并通过对特征图应用多层次最大值或平均值操作来提取不变形表征信息[^2]。 #### 快速空间金字塔池化 (Spatial Pyramid Pooling - Fast, SPPF) 这是一种改进版的空间金字塔池化方法,能够在不显著增加计算成本的前提下提供更好的效果。 #### 结合跨阶段部分卷积的空间金字塔池化 (Spatial Pyramid Pooling with Cross Stage Partial Convolutions, SPPCSPC) 这种变体融合了传统SPP与其他先进机制比如跨阶段局部卷积设计思路,进一步增强了表达能力和效率。 #### 空洞空间金字塔池化 (Atrous Spatial Pyramid Pooling, ASPP) ASPP利用不同扩张率的空洞卷积捕获多尺度上下文线索,特别适合语义分割等领域内的密集预测挑战。 ```python import tensorflow as tf # 创建一个简单的张量实例 tensor_example = tf.constant([[1., 2.], [3., 4.]]) print(tensor_example) # 定义基本神经网络架构 model = tf.keras.Sequential([ tf.keras.layers.Dense(64, activation='relu', input_shape=(32,)), tf.keras.layers.Dense(10, activation='softmax') ]) # 编译模型指定优化器、损失函数及评估标准 model.compile(optimizer=tf.keras.optimizers.Adam(), loss=tf.keras.losses.CategoricalCrossentropy(), metrics=[tf.keras.metrics.Accuracy()]) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值