Datawhale AI 夏令营-全球Deepfake攻防挑战赛-Task 2

目录

一、知识点学习

Part1 深度学习是什么?

神经元模型——模拟生物神经元行为的计算模型

神经网络——神经元模型的组合

Part2 深度学习如何训练的?

梯度下降算法

深度学习训练过程

Pytorch训练代码

Part3 深度学习与迁移学习

ImageNet介绍

迁移学习的实现方法

Part4 常见的图像分类网络

AlexNet

ResNet

EfficientNet

 Part5 导图总结

二、心得体会


一、知识点学习

Part1 深度学习是什么?

深度学习(Deep Learning)是机器学习的一个分支,用神经网络模拟人脑的学习方式,从大量数据中自动学习和提取特征,进行预测和决策。

深度学习依赖于多层神经网络,每一层神经元接受前一层神经元的输出,并通过权重和激活函数进行计算,传递到下一层神经元。

神经元模型——模拟生物神经元行为的计算模型

一个简单的神经元模型包括输入、权重、激活函数和输出

  1. 输入就像神经元 树突 接收到的信号,

  2. 权重则像是调整信号强度的小调节器,

  3. 激活函数决定是否产生输出,

  4. 输出则是传递给其他神经元的信号。

神经网络——神经元模型的组合

深度学习是由这些神经元模型层层堆叠起来的复杂结构。

深度将它们按照一定的层次连接起来,形成一个庞大的网络。这个网络的最底层接收输入数据,比如图片或文本,然后通过每一层的处理,逐渐提取出更高级别的特征,最后在顶层输出结果,比如识别图片中的物体或理解文本的含义。

这些基本的神经元模型组合起来,形成了多层次的网络结构,称之为神经网络

虽然深度学习成就显著,但深度学习并不能解决所有问题

Part2 深度学习如何训练的?

深度学习能够通过大量的数据和反复的训练来自动调整这些小开关(权重)的设置,使得整个网络能够越来越准确地完成特定的任务。

梯度下降算法

梯度下降是一种优化算法,用于最小化函数。原理是损失函数的梯度指向函数增长最快的方向。因此,如果我们希望减少损失函数的值,我们就需要沿着梯度的反方向调整模型的参数,让每次迭代都朝着模型参数朝着减少损失的方向移动。

深度学习训练过程

在深度学习中,我们希望最小化损失函数,即模型预测值与真实值之间的差异。

在训练循环中,我们首先加载一小批量数据,将其输入到神经网络中进行前向传播,计算出网络的输出。然后,我们使用损失函数来计算当前批次的损失,并通过反向传播算法计算损失函数关于每个参数的梯度。这些梯度告诉我们如何调整权重和偏置以减少损失。

当数据集非常大时,一次性处理所有数据可能会导致内存不足或计算过于缓慢。我们可以通过将数据分成小批量

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值