wujing1_1的博客

Args:Examples:""" return _no_grad_trunc_normal_(tensor , mean , std , a , b) ############################################ # backbone 部分 class Attention(nn . Module) : def __init__(self , dim , head , sr_ratio) : """注意力头:param dim: 输入维度。...

使用registry（注册器）管理代码库中的模型，需要以下三个步骤。创建一个构建方法（可选，在大多数情况下您可以只使用默认方法）创建注册器使用此注册器来管理模块1. 创建构建器创建builder.py。内容如下from mmcv . utils import Registry # 创建转换器（converter）的注册器（registry） MODELS = Registry('models') # DATASETS = Registry('dataset')2. 创建注册器。...

MIM:MIM 是 OpenMMlab 项目、算法、模型的统一入口: OpenMMLab 图像分类工具箱: OpenMMLab 目标检测工具箱: OpenMMLab 新一代通用 3D 目标检测平台MMRotate: OpenMMLab 旋转框检测工具箱与测试基准: OpenMMLab 语义分割工具箱MMOCR: OpenMMLab 全流程文字检测识别理解工具箱MMPose: OpenMMLab 姿态估计工具箱MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准。...

实际上是中的一种，自注意力机制实际上也是一种网络的构型，它想要解决的问题是网络接收的输入是很多向量，并且向量的大小也是不确定的情况，比如机器翻译(序列到序列的问题，机器自己决定多少个标签)，词性标注(Pos tagging一个向量对应一个标签)，语义分析(多个向量对应一个标签)等文字处理问题。Query，Key，Value的概念取自于，举个简单的搜索的例子来说。当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服)时，self-attention中的Q，K，V也是起着类似的作用，在矩阵计算中，，因此

假设有一天热爱绘画的你决定去户外写生，你来到一片山坡上，极目远去，心旷神怡。头顶一片蔚蓝，脚踩一席草绿，远处山川连绵，眼前花草送香，暖阳含羞云后，轻风拂动衣襟，鸟啼虫鸣入耳，美景丹青共卷。你集中精神，拿起画笔将蓝天、白云、青草等等这些元素，按照所思所想纷纷绘入画板。在绘画的过程中，你会持续地关注你构思到画板上的元素（比如蓝天，白云），而不会太多关注那些其他的元素，比如风，虫鸣，阳光等等。即你的精神是聚焦在你关心的那些事物上，这其实就是注意力的体现，这种有意识的聚焦被称为聚焦式注意力（Focus Attent

文章目录深度学习0. 概述0.1 概念0.2 历史1. 感知机1.1 概念1.2 算法模型1.2.1 模型1.2.2 分离超平面1.2.3 损失函数1.2.4 随机梯度下降例子1.2.5 对偶形式1.3 逻辑电路1.3.1 与门1.3.2 与非门1.3.3 或门1.3.4 异或门多层感知机mlp深度学习文章代码原文链接https://gitee.com/fakerlove/deep-learning学习路线1-----python2----常见的深度学习框架3-----pytorch学习4

文章目录2. 神经网络2.1 概念2.1.1 概念2.1.2 应用-分类2.2 前期准备2.2.1 神经元2.2.2 激活函数1) sigmoid函数2) 双极性Sigmoid函数3) 阶跃函数4) ReLU2.2.3 层介绍1) 输入层2) 隐藏层3) 输出层4) Softmax-with-Loss 层5) Affine层2.3 损失函数2.3.1 均方误差2.3.2 交叉熵误差2. 神经网络参考资料https://blog.youkuaiyun.com/as091313/article/details/790

文章目录3. 误差反向传播法3.1 概念3.2 前期准备3.2.1 链式法则a) 复合函数b) 链式法则3.2.2 例子3.2.3 反向传播1) 加法反向传播2) 乘法反向传播3)ReLU层的反向传播4) Sigmoid层的反向传播5) Softmax-with-Loss层的反向传播3.2.3 随机梯度下降SGD3.3 算法推导3.3.1 前向传播计算3.3.2 计算各个层的误差1) 输出层误差2) 隐藏层误差3) 输入层误差3.3.3 计算梯度1) 均方误差的梯度2) 单个神经元梯度**定义误差****

4. 卷积神经网络CNN文章链接https://gitee.com/fakerlove/deep-learning以算法区分深度学习应用，算法类别可分成三大类：常用于影像数据进行分析处理的卷积神经网络(简称CNN)文本分析或自然语言处理的递归神经网络(简称RNN)常用于数据生成或非监督式学习应用的生成对抗网络(简称GAN)资料参考https://www.zybuluo.com/hanbingtao/note/485480参考资料2https://www.cnblogs.com/w