cyy2learn的博客

双/单/半精度浮点数在尽可能减少精度损失的情况下利用半精度浮点数（FP16）来加速训练。以下简单对比双/单/半精度浮点数：双精度浮点数：FP64（64bits=8bytes）单精度浮点数：FP32 （32bits=4bytes）半精度浮点数：FP16 (16bits=4bytes)可以看到，双/单/半精度浮点数表示的范围不同，因此存储它们所需要的硬件内存也不同了。其中，一个FP16浮点数占用内存是FP32的一半，但是它所表示的范围也大大减少，因此，纯粹使用FP16进行

论文相关资料论文 Switch Transformer: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity下载地址https://arxiv.org/pdf/2101.03961.pdf github 代码：https://github.com/tensorflow/mesh/blob/master/mesh_tensorflow/transformer/moe.py论文解读Introduction

目录# Nsight Systems 入门什么是Nsight Systems用户能用nsys做什么CUDA VersionNsight Systems 使用nsys windows 版本GUI使用步骤nsys Linux CLI (Command Line Interface)常见命令# Nsight Systems 入门什么是Nsight SystemsNVIDIA Nsight Systems，简称nsys，是一个低开销的系统分析工具。在本文档中，我..

本系列文章围绕以下几个主题来详细解读Transformer和BERT的原理和发展Transformer 模型详解 Transformer在CV,NLP,推荐系统的发展与应用 BERT模型详解 BERT最新发展与应用本篇文章：Transformer模型详解整体结构 Encoder Decoder Positional Encoding Self Attention Add & Norm1. 整体结构Transformer主要由两大部分组成：Encoder &amp.

优化器的框架：目标函数关于当前参数的梯度 ; 根据历史梯度计算一阶动量与二阶动量： ; ; 计算当前时刻的下降梯度： ​​​​​​​; 根据更新参数： ​​​​​​​; 现在我们来一个个分析现有的优化器，如何套入以上的框架。简单来说，它们的区别就在于和的定义。SGD特点：没有使用动量...

Yolo v1+2+3都是目标检测模型。目标检测模型； Yolo v1 Yolo v2 Yolo v3 总结： 发展路线和区别；一、目标检测模型目标检测可分为两个步骤：Step1: 检测目标位置（生成矩形框）Step2: 对目标物体进行分类物体检测主流算法主要分为one-stage和two-stageOne-stage：Yolo...

本系列为《解读CUDA C Programming Guide》.本书旨在介绍进行CUDA并行优化的C编程指导。共5章，内容分别是：Introduction Programming Model Programming Interface Hardware Implementation Performance Guidelines本文简单解读第二章：Programming M...

本系列为《解读CUDA C Programming Guide》.本书旨在介绍进行CUDA并行优化的C编程指导。共5章，内容分别是：Introduction Programming Model Programming Interface Hardware Implementation Performance Guidelines本文简单解读第一章：Introduction....

类别不平衡产生原因？类别不平衡（class-imbalance）是指分类任务中不同类别的训练样例数目差别很大的情况。产生原因：通常分类学习算法都会假设不同类别的训练样例数目基本相同。如果不同类别的训练样例数目差别很大，则会影响学习结果，测试结果变差。例如二分类问题中有998个反例，正例有2个，那学习方法只需返回一个永远将新样本预测为反例的分类器，就能达到99.8%的精度；然而这样的分类...

机器学习：利用计算机、概率论、统计学等知识，输入数据，让计算机学会新知识。机器学习的过程，就是通过训练数据寻找目标函数。深度学习是机器学习的一种，现在深度学习比较火爆。在传统机器学习中，手工设计特征对学习效果很重要，但是特征工程非常繁琐。而深度学习能够从大数据中自动学习特征，这也是深度学习在大数据时代受欢迎的一大原因。机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对...

全都初始化为 0偏差初始化陷阱： 都初始化为 0。产生陷阱原因：因为并不知道在训练神经网络中每一个权重最后的值，但是如果进行了恰当的数据归一化后，我们可以有理由认为有一半的权重是正的，另一半是负的。令所有权重都初始化为 0，如果神经网络计算出来的输出值是一样的，神经网络在进行反向传播算法计算出来的梯度值也一样，并且参数更新值也一样。更一般地说，如果权重初始化为同一个值，网络就是对称的。...

为什么需要非线性激活函数？为什么需要激活函数？激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习复杂函数映射的能力很小。没有激活函数，神经网络将无法学习和模拟其他复杂类型的数据，例如图像、视频、音频、语音等。 激活函数可以把当前特征空间...

本篇列出常见的深度学习基础问题，并拟打算在2020年3月31日前，出一个《深度学习100答》系列，针对这里列出的问题，一一作出简要的回答。注：如果只列出名词，则问题是：它的定义，推导与应用是什么？神经网络的基本组成；神经网络的输出计算；常用的神经网络模型；机器学习与深度学习的区别；为什么训练深层网络很困难？前向传播推导；反向传播推导；超参数；超参数的一般搜索过程；常见...

课程地址： http://www.bilibili.com/video/av13260183/index_1.html#page=4 课件地址： http://cs231n.stanford.edu/slides/2017/本课主要内容： 介绍计算图表的建立原理，推导反向传播中梯度的计算过程 神经网络的简介。 回顾上节课，我们已经得到了线性得分函数f,以及各类的得分

课程地址： http://www.bilibili.com/video/av13260183/index_1.html#page=3 课件地址： http://cs231n.stanford.edu/slides/2017/本课主要内容： 损失函数的含义，以及最优化权值向量的方法。回顾上节课： 机器识别图像的巨大困难在于semantic gap(语义代沟) 使用KNN进行图像识别（关

课程地址： http://write.blog.youkuaiyun.com/mdeditor 课件地址： http://cs231n.stanford.edu/slides/2017/本节课程内容简介： 图像分类的图像分类对于人来来说是很容易的事情。但是对于机器来说却很困难，这是因为对机器输入一幅图片，它不是看到一幅图像，而是得到一个具有不同数值的巨大矩阵（网络），比如800x800像素的图像，它接受

课程地址： http://www.bilibili.com/video/av13260183/index_1.html#page=1 课件地址： http://cs231n.stanford.edu/slides/2017/本节课程内容简介： 介绍了计算机视觉的历史及发展，以及神经网络的发展突破。 （第一课的博客笔记做了个ppt搬运工。。。收获是：CV和神经网络都发展了三十多年了，为啥突然