目录
一、知识点学习
Part1 深度学习是什么?
深度学习(Deep Learning)是机器学习的一个分支,用神经网络模拟人脑的学习方式,从大量数据中自动学习和提取特征,进行预测和决策。
深度学习依赖于多层神经网络,每一层神经元接受前一层神经元的输出,并通过权重和激活函数进行计算,传递到下一层神经元。
神经元模型——模拟生物神经元行为的计算模型
一个简单的神经元模型包括输入、权重、激活函数和输出。
-
输入就像神经元 树突 接收到的信号,
-
权重则像是调整信号强度的小调节器,
-
激活函数决定是否产生输出,
-
而输出则是传递给其他神经元的信号。
神经网络——神经元模型的组合
深度学习是由这些神经元模型层层堆叠起来的复杂结构。
深度将它们按照一定的层次连接起来,形成一个庞大的网络。这个网络的最底层接收输入数据,比如图片或文本,然后通过每一层的处理,逐渐提取出更高级别的特征,最后在顶层输出结果,比如识别图片中的物体或理解文本的含义。
这些基本的神经元模型组合起来,形成了多层次的网络结构,称之为神经网络。
虽然深度学习成就显著,但深度学习并不能解决所有问题。
Part2 深度学习如何训练的?
深度学习能够通过大量的数据和反复的训练来自动调整这些小开关(权重)的设置,使得整个网络能够越来越准确地完成特定的任务。
梯度下降算法
梯度下降是一种优化算法,用于最小化函数。原理是损失函数的梯度指向函数增长最快的方向。因此,如果我们希望减少损失函数的值,我们就需要沿着梯度的反方向调整模型的参数,让每次迭代都朝着模型参数朝着减少损失的方向移动。
深度学习训练过程
在深度学习中,我们希望最小化损失函数,即模型预测值与真实值之间的差异。
在训练循环中,我们首先加载一小批量数据,将其输入到神经网络中进行前向传播,计算出网络的输出。然后,我们使用损失函数来计算当前批次的损失,并通过反向传播算法计算损失函数关于每个参数的梯度。这些梯度告诉我们如何调整权重和偏置以减少损失。
当数据集非常大时,一次性处理所有数据可能会导致内存不足或计算过于缓慢。我们可以通过将数据分成小批量,