深度学习学习笔记——常见知识点

原创 已于 2022-12-08 15:20:53 修改 · 2.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #目标检测 #计算机视觉

于 2021-12-09 21:37:01 首次发布
本文探讨了提高网络模型表达能力的策略，包括增加深度、宽度和输入分辨率，并介绍了自注意力机制的手写实现。同时，讲解了图神经网络的工作原理，以及L1正则化为何能诱导稀疏性。此外，还涉及AUC的计算方法、Attention的伪代码、卷积层的底层实现和小目标检测的优化技巧。针对网络训练速度问题，提出了定位瓶颈的方法。文章还深入讨论了Transformer中的非线性来源、层归一化（LN）的应用及其与批量归一化（BN）的区别，以及旋转角度的IOU计算。最后，阐述了Dropout的作用、平均池化与最大池化的优缺点，以及MobileNet设计理念和二阶导数优化方法。
部署运行你感兴趣的模型镜像

提高网络模型表达能力：增加深度、宽度、输入的分辨率
手写self-attention
介绍图神经网络
为什么L1更容易稀疏
AUC怎么计算
手写个attention的伪代码
conv底层实现方式
小目标检测性能提升方法
网络训练慢如何定位瓶颈
transformer的非线性来自于哪里
trnasformer为甚恶魔用LN,不用BN
旋转角度的IOU计算
Dropout的原理和计算
平均池化和最大池化优缺点
MobileNet的设计理念是什么？
有哪些优化方法使用了二阶导数？
优化器的发展历程
各种normalization的作用
介绍通道注意力与特征注意力
介绍transformer的encoder模块
transformer中的残差结构以及意义

您可能感兴趣的与本文相关的镜像

Yolo-v5

Yolo-v5

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 37万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习笔记——模型部署
haopinglianlian的博客
11-30 1490
本文简要概括模型部署的知识点，包括步骤和部署方式。
《神经网络与深度学习》算法伪代码汇总
热门推荐
weixin_46178977的博客
07-21 1万+
《神经网络与深度学习》算法伪代码
深度学习常见算法伪码
qq_44861043的博客
06-28 5055
反向传播算法 反向传播算法的三步骤 （1） 前馈计算每一层的净输入???? (????) 和激活值???? (????)，直到最后一层； （2） 反向传播计算每一层的误差项???? (????)； （3） 计算每一层参数的偏导数，并更新参数． 算法伪码 输入: 训练集???? = {(????(????), ????(????))}???? ????=1,验证集????,学习率????, 正则化系数????,网络层 数????,神经元数量???????? , 1 ≤ ???? ≤ ????. 1 随机
DQN伪代码解析
weixin_67482129的博客
10-30 1588
12. 定义一个批次的大小，然后按照这个大小在D中存储的所有SARS组合里进行采样，并算出对应的y值。5. 初始输入，假设我们输入的是一张游戏起始状态的截图，那么它就是x1，也就是status的第一幕s1，经过神经网络的处理变成Φ1。9. 总之在一个选定的at的情况下，送入模拟器，可以得到一个rt，并且会得到第二张图片xt+1(也就是游戏在第二个状态下的截图)。10. 将这个截图xt+1和之前的状态st，以及动作at进行整合，输入神经网络Φ做处理，得到Φt+1，也就是Φ也进行一遍更新。
深度学习中常用优化器（SGD, Momentum, Nesterov Momentum, AdaGrad, RMS Prop, Adam）的伪代码和对比
qq_39332551的博客
03-12 5151
在深度学习中，优化器是其重要组成部分，本文来介绍一下常用优化器（SGD, Momentum, Nesterov Momentum, AdaGrad, RMS Prop, Adam）的伪代码并对他们进行对比。 1. SGD SGD的伪代码如下： SGD的梯度更新公式简单，采样用的是小样本，训练速度快，但由于是成之字形下降，在一些情况下效率很低。 2. (SGD with) Momentum 伪代码如下： 和SGD相比，带动量的SGD主要是借助物理学中动量的概念，在下降时保留一部分之前的
深度学习笔记（2）
qq_61094172的博客
03-15 1304
1.访问元素 比如数组： [[1, 2, 3, 4], [5 ,6, 7, 8], [9,10,11,12], [13,14,15,16]] 访问一个元素：[1,2] （7） 访问一行元素：[1,:] （[5,6,7,8]） 访问一列元素：[:,1]（2，6，10，14） 子区域：[1:3,1:]（表示第1行到第3行的开区间结束，即第1行和第2行，第1列开始到后面所有列） 子区域：[::3,::2]（表示把第0行和第3行拿出来，再把第0列和第2列拿出来） xyz19971105..
深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）
haopinglianlian的博客
11-30 4245
本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。
DeepLearning(深度学习)学习笔记整理(网上资料汇总).pdf
最新发布
07-19
本篇深度学习学习笔记整理汇聚了大量网上优质资料，涵盖了从基础理论到前沿技术的全面知识体系，为深度学习的学习者提供了一站式的知识平台。 首先，基础理论方面，深度学习笔记从神经网络的基本单元——人工神经元...
李宏毅深度学习笔记——呕心整理版
Red_Elf的博客
12-06 9797
机器学习就是寻找一个复杂函数。深度学习的函数就是类神经网络。
C语言经典算法之循环神经网络算法（伪代码）
weixin_56154577的博客
02-19 2075
循环神经网络（Recurrent Neural Network, RNN）在C语言中并没有标准库可以直接调用实现，但可以使用C语言描述其基本原理和结构，并通过编写自定义函数来模拟其实现。RNN通常用于处理序列数据，在时间序列上具有记忆功能，能够捕捉到数据的时间依赖性。
吴恩达Deep Learning代码笔记(伪代码).第二周
m0_52935007的博客
12-03 855
文章目录 学习目标： 学习内容： 学习目标： 1、m个样本的梯度下降（非向量化） 2、m个样本的梯度下降（向量化） 3、python中的broadcasting 学习内容： 0、步骤示意图 1、m个样本的梯度下降（非向量化） J=0;dw1=0;dw2=0;db=0; for i = 1 to m z(i) = wx(i)+b; a(i) = sigmoid(z(i)); J += -[y(i)log(a(i))+(1-y(i)）log(1-a(i));..
深度强化学习Reinforcement Learning|PG|Actor-Critic|A3C|DDPG
m0_64578069的博客
09-16 1681
目录一、PG(Policy Gradient)策略梯度算法（on-policy）1、策略梯度公式推导2、代码讲解/伪代码3、改进3.1Trick Baseline3.2 Suitable Credit二、Actor-Critic算法三、A3C算法四、DDPG算法 我们都知道强化学习环境env的不确定性是比较突出的一个特点，那么有很多情况下时需要使用强化学习设计仿真实验的，经常会设置一些随即参数，比如随机正态分布或者一个随机的常量，这种我们就正常使用科学计算库numpy或者深度学习框架比如Tensorf
【深度学习模型】
qq_31532979的贺公子之数据科学与艺术博客，致力于科技向善，拥抱开源，要用技术的影响力来领导团队，而不是威权和职位！
11-19 899
在上述伪代码中，首先初始化卡尔曼滤波器，并在每个循环迭代中获取相机图像。然后，使用深度学习模型对相机图像进行识别，得到障碍物位置和速度的估计值。接下来，将深度学习模型的输出作为卡尔曼滤波器的观测量，使用观测值来更新卡尔曼滤波器的状态转移矩阵。最后，使用卡尔曼滤波器来预测障碍物的位置和速度，并在相机图像中绘制障碍物的位置。然后，我们设置了一些超参数，包括批量大小、学习率和迭代次数。然后，我们加载训练数据集，并使用训练数据集迭代训练模型。最后，我们加载测试数据集，并使用测试数据集测试模型的准确性。
深度学习（生成式模型）——DDPM：denoising diffusion probabilistic models
菜到怀疑人生的博客
10-18 6765
文章目录前言DDPM的基本流程前向过程反向过程DDPM训练与测试伪代码前向过程详解反向过程详解DDPM损失函数推导结语 前言 本文将总结扩散模型DDPM的原理，首先介绍DDPM的基本流程，接着展开介绍流程里的细节，最后针对DDPM的优化函数进行推导，以让读者明白DDPM参数估计的原理。 本文不会对扩散模型的motivation进行讲解，作者有点鬼才，完全想不到他是怎么想出这种训练范式的 生成式模型的代表作为GAN，然而，GAN的训练十分困难，对抗训练稍有不慎便会陷入模式坍塌(model collapse)。
机器学习-sklearn
April123abc的博客
11-25 1080
什么是机器学习？字面上来讲就是 (人用) 计算机来学习。谈起机器学习就一定要提起汤姆米切尔 (Tom M.Mitchell)，就像谈起音乐就会提起贝多芬，谈起篮球就会提起迈克尔乔丹，谈起电影就会提起莱昂纳多迪卡普里奥。米切尔对机器学习定义的原话是：整段英文有点抽象难懂对吗？
深度学习：反向传播算法（BP）
Wei_sx的博客
01-06 2921
反向传播算法（Backpropagation Algorithm，简称 BP 算法）是一种用于训练神经网络的有效方法。它通过计算每层网络的误差，并将这些误差反向传播到前一层，从而调整权重，使得网络的预测更接近真实值。以下是反向传播算法的详细解释，包括基本概念、原理、步骤，以及伪代码示例。
Attention的学习
qq_42325691的博客
04-01 1250
Attention的学习
深度学习——从零开始（手写数字识别伪代码以及tensorflow安装要点）
qq_38350792的博客
07-18 2012
1.Python小贴士 import numpy出错时，打开cmd 输入pip install numpy 即可 2.手写数字识别伪代码： import numpy import scipy.special import matplotlib.pyplot as plt import pylab 定义神经网络 定义节点（输入、隐藏、输出） 学习...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值