NN技术
文章平均质量分 67
NN技术概念
迪三
聚焦AIGC应用技术 (Email:disanda@foxmail.com)
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
生成模型:流模型-Normalizing Flows
本文主要介绍主流的3类流模型它们基本思路是一致的,仅随发表时间有所改进。本例以学习的思路讲述流模型生成图像(MNIST)。流模型经典的应用是音频合成模型VITS其实现了《文本转语音/声音克隆》, 感兴趣的可以参看:以图像生成为例,其像素(pixels)是一种复杂的多维变量分布,其概率密度难以求解。生成模型的核心思想是:通过神经网络,将图像数据的分布与多维标准正态分布建立映射.实现通过标准正态采样,生成所映射的图像数据。概率密度 p(x) 表示在 x 附近每单位“测度”(比如单位长度、单位面积等)内的概率“浓原创 2025-02-20 11:09:18 · 1854 阅读 · 0 评论 -
激活函数numpy实现(Sigmoid, Tanh, Relu, Softmax)
激活函数numpy实现1.Sigmoid2.Tanh3.Relu4.Softmax你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。1.Sigmoidsigmoid(y)=11+e−x sigmoid(y) = \frac{1}{1 + e^{-x}} sigmoid(y)=1+e−x12.Tanhtanh(y)=2∗sigmoid(2∗x)−1 tanh(y) = 2原创 2021-08-29 22:40:10 · 777 阅读 · 0 评论 -
深度学习中优化器 (optimizer) 的选择:SGD, AdaGrad, AdaDelta
optim的一些理论基础1.训练过程神经网络的训练过程如下:做一个神经网络用于拟合目标函数做一个真实值和目标函数值直接估计误差的损失函数,用损失函数值前向输入值求导,再根据导数的反方向去更新网络参数(x),目的是让损失函数值最终为0.2.专有名词SGD在第四步中,参数的更新就是pytorch中的optim(优化过程),现在都是随机梯度下降,即每次更新是通过随机抽样来更新参数(总数的一小部分,简称为一个batch)。公式: (1)为此,需要设置一个学习率,保证每个batc原创 2020-10-06 18:37:29 · 2685 阅读 · 0 评论 -
浅谈torch.nn库和torch.nn.functional库(Pytorch)
浅谈torch.nn库和torch.nn.functional库这两个库很类似,都涵盖了神经网络的各层操作,只是用法有点不同,nn下是类实现,nn.functional下是函数实现。conv1d在nn下是一个类,一般继承nn.module通过定义forward()函数计算其值class Conv1d(_ConvNd): def __init__(self, in_chan...原创 2019-12-23 12:16:17 · 1087 阅读 · 1 评论 -
损失函数小结 - Loss function
介绍现在nn常用的损失函数,如分类任务原创 2021-12-21 14:02:35 · 367 阅读 · 0 评论 -
神经网络计算过程(正向传播,反向传播,优化策略和参数更新)
神经网络计算过程原理是设计一个多参数的非线性组合模型,即多层神经网络model.用这个model来近似(拟合)一个无法求出的复杂函数 y = f(x).(输入x和输出y皆为高维变量的)定义这个模型的前向传播过程,即forward : 即数据input进model,model输出output,类似y=f(x).根据Loss的定义,一般为真实样本的(y,x),和模型的随机输入和输出 (z,y’)的比较函数。在Loss中分别对每个维度的参数求其偏导数,得到每个参数的偏导数值即x_i.grad()原创 2020-10-06 18:31:10 · 1346 阅读 · 0 评论
分享